GaussianSpa: An "Optimizing-Sparsifying" Simplification Framework for Compact and High-Quality 3D Gaussian Splatting

📄 arXiv: 2411.06019v3 📥 PDF

作者: Yangming Zhang, Wenqi Jia, Wei Niu, Miao Yin

分类: cs.CV, cs.GR

发布日期: 2024-11-09 (更新: 2025-04-10)

备注: CVPR 2025. Project page at https://noodle-lab.github.io/gaussianspa/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

GaussianSpa：一种“优化-稀疏化”框架，用于紧凑且高质量的3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 模型简化 优化算法 稀疏化 渲染质量 内存优化

📋 核心要点

  1. 3DGS虽然效果好，但存储大量高斯函数导致内存需求高，限制了其应用。
  2. GaussianSpa将3DGS简化问题转化为优化问题，通过“优化-稀疏化”策略交替求解。
  3. 实验表明，GaussianSpa在保证性能的同时，显著减少了高斯函数的数量，提高了效率。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为新视角合成的主流方法，它利用高斯函数的连续聚合来建模场景几何。然而，3DGS需要大量的内存来存储大量的高斯函数，这阻碍了它的实用性。为了解决这个挑战，我们引入了GaussianSpa，这是一个基于优化的简化框架，用于紧凑和高质量的3DGS。具体来说，我们将简化问题表述为一个与3DGS训练相关的优化问题。相应地，我们提出了一种有效的“优化-稀疏化”解决方案，该方案交替地解决两个独立的子问题，在训练过程中逐渐对高斯函数施加强大的稀疏性。我们对各种数据集的全面评估表明，GaussianSpa优于现有的最先进方法。值得注意的是，与原始3DGS相比，GaussianSpa在真实世界的Deep Blending数据集上实现了平均0.9 dB的PSNR改进，而高斯函数的数量减少了10倍。

🔬 方法详解

问题定义：3D高斯溅射（3DGS）在新视角合成中表现出色，但其存储大量高斯函数导致内存占用过高，限制了其在资源受限设备上的应用。现有方法在简化模型时，往往难以在模型大小和渲染质量之间取得平衡。

核心思路：GaussianSpa的核心思路是将3DGS的简化过程视为一个优化问题，通过在训练过程中引入稀疏性约束，逐步减少高斯函数的数量。这种“优化-稀疏化”的策略旨在找到一个既能保持渲染质量，又能显著减少模型大小的平衡点。通过交替优化高斯参数和稀疏性，可以更有效地去除冗余的高斯函数。

技术框架：GaussianSpa的整体框架包含两个主要阶段：优化阶段和稀疏化阶段。这两个阶段交替进行，直至满足预设的停止条件。在优化阶段，使用标准的3DGS训练方法更新高斯函数的参数，例如位置、尺度、旋转和颜色。在稀疏化阶段，引入稀疏性约束，例如L1正则化或硬阈值，来鼓励高斯函数的参数趋向于零。然后，移除参数接近于零的高斯函数，从而实现模型的简化。

关键创新：GaussianSpa的关键创新在于其“优化-稀疏化”的交替策略。与传统的后处理简化方法不同，GaussianSpa将简化过程融入到训练过程中，使得模型在训练的同时进行简化，从而更好地保持渲染质量。此外，将简化问题建模为优化问题，可以使用现有的优化算法来有效地求解。

关键设计：GaussianSpa的关键设计包括：1）稀疏性约束的选择，例如L1正则化或硬阈值，需要根据具体应用场景进行调整；2）稀疏化阶段的阈值设置，需要仔细选择，以避免过度简化导致渲染质量下降；3）优化阶段和稀疏化阶段的交替频率，需要根据数据集和模型大小进行调整，以达到最佳的简化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GaussianSpa在Deep Blending数据集上取得了显著的成果，与原始3DGS相比，在减少10倍高斯函数数量的情况下，平均PSNR提高了0.9 dB。这表明GaussianSpa能够在显著减少模型大小的同时，保持甚至提高渲染质量。此外，GaussianSpa在其他数据集上也表现出优于现有方法的性能。

🎯 应用场景

GaussianSpa在需要高效渲染和存储的场景中具有广泛的应用前景，例如移动设备上的AR/VR应用、自动驾驶中的场景重建、以及大规模城市建模等。通过减少3DGS模型的内存占用，GaussianSpa可以使得这些应用在资源受限的设备上也能流畅运行，并降低存储和传输成本。未来，GaussianSpa可以进一步扩展到动态场景的建模和渲染。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a mainstream for novel view synthesis, leveraging continuous aggregations of Gaussian functions to model scene geometry. However, 3DGS suffers from substantial memory requirements to store the multitude of Gaussians, hindering its practicality. To address this challenge, we introduce GaussianSpa, an optimization-based simplification framework for compact and high-quality 3DGS. Specifically, we formulate the simplification as an optimization problem associated with the 3DGS training. Correspondingly, we propose an efficient "optimizing-sparsifying" solution that alternately solves two independent sub-problems, gradually imposing strong sparsity onto the Gaussians in the training process. Our comprehensive evaluations on various datasets show the superiority of GaussianSpa over existing state-of-the-art approaches. Notably, GaussianSpa achieves an average PSNR improvement of 0.9 dB on the real-world Deep Blending dataset with 10$\times$ fewer Gaussians compared to the vanilla 3DGS. Our project page is available at https://noodle-lab.github.io/gaussianspa/.