Matrix-free Second-order Optimization of Gaussian Splats with Residual Sampling

📄 arXiv: 2504.12905v2 📥 PDF

作者: Hamza Pehlivan, Andrea Boscolo Camiletto, Lin Geng Foo, Marc Habermann, Christian Theobalt

分类: cs.CV

发布日期: 2025-04-17 (更新: 2026-01-02)

💡 一句话要点

提出基于残差采样的矩阵无关二阶优化方法，加速3D高斯溅射训练。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 二阶优化 Levenberg-Marquardt 残差采样 矩阵无关 稀疏优化

📋 核心要点

  1. 3D高斯溅射依赖一阶优化器，训练耗时较长，限制了其应用。
  2. 利用3DGS雅可比矩阵的稀疏性，提出矩阵无关的LM二阶优化方法。
  3. 通过视图和损失采样、启发式学习率调整，加速收敛，提升训练效率。

📝 摘要（中文）

3D高斯溅射(3DGS)因其高质量的渲染效果和快速的推理速度而被广泛应用于新视角合成。然而，3DGS主要依赖于诸如Adam等一阶优化器，导致训练时间过长。为了解决这一局限性，我们提出了一种基于Levenberg-Marquardt (LM)和共轭梯度(CG)的二阶优化策略，并专门针对高斯溅射进行了定制。我们的关键见解是，3DGS中的雅可比矩阵表现出显著的稀疏性，因为每个高斯只影响有限数量的像素。我们通过提出一种矩阵无关且GPU并行化的LM优化来利用这种稀疏性。为了进一步提高效率，我们提出了针对相机视图和损失函数的采样策略，从而显著降低了计算复杂度。此外，我们通过引入一种有效的启发式方法来确定学习率，避免了线搜索方法的高昂计算成本，从而提高了二阶近似的收敛速度。结果表明，我们的方法比标准LM快3倍，在高斯数量较少时比Adam快约6倍，而在高斯数量适中时仍具有竞争力。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)在新视角合成中表现出色，但其训练过程主要依赖于一阶优化算法（如Adam），收敛速度慢，训练时间长。现有方法难以有效利用3DGS中雅可比矩阵的稀疏性，导致计算效率低下。

核心思路：论文的核心思路是利用3DGS雅可比矩阵的稀疏性，设计一种矩阵无关的二阶优化方法，以加速训练过程。通过Levenberg-Marquardt (LM)算法和共轭梯度(CG)算法，结合残差采样策略，降低计算复杂度，并采用启发式方法确定学习率，避免昂贵的线搜索。

技术框架：该方法主要包含以下几个阶段：1) 稀疏雅可比矩阵的构建：利用3DGS的特性，确定每个高斯影响的像素范围，构建稀疏雅可比矩阵。2) 矩阵无关的LM优化：避免显式计算和存储完整的雅可比矩阵，而是通过矩阵向量积来实现LM算法的迭代。3) 残差采样：对相机视图和损失函数进行采样，减少计算量。4) 启发式学习率调整：设计一种启发式方法来确定LM算法中的阻尼因子（学习率），避免线搜索。

关键创新：该方法最重要的创新点在于提出了矩阵无关的二阶优化策略，并结合残差采样和启发式学习率调整，显著降低了计算复杂度，提高了训练速度。与传统LM算法相比，该方法避免了显式计算和存储雅可比矩阵，从而能够处理更大规模的场景。

关键设计：1) 雅可比矩阵的稀疏性利用：根据高斯分布的特性，确定每个高斯影响的像素范围，从而构建稀疏雅可比矩阵。2) 残差采样策略：采用均匀采样或重要性采样等方法，选择一部分相机视图和像素进行损失计算，减少计算量。3) 启发式学习率调整：根据迭代过程中的损失变化情况，动态调整LM算法中的阻尼因子，以加速收敛。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在低高斯数量时比Adam快约6倍，比标准LM快3倍。即使在高斯数量适中时，该方法仍具有竞争力。通过残差采样和启发式学习率调整，显著降低了计算复杂度，提高了训练速度。

🎯 应用场景

该研究成果可广泛应用于新视角合成、三维重建、虚拟现实、增强现实等领域。通过加速3D高斯溅射的训练过程，可以更快地生成高质量的3D场景，提升用户体验，并降低计算成本。未来，该方法有望应用于更大规模、更复杂的场景重建和渲染。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) is widely used for novel view synthesis due to its high rendering quality and fast inference time. However, 3DGS predominantly relies on first-order optimizers such as Adam, which leads to long training times. To address this limitation, we propose a novel second-order optimization strategy based on Levenberg-Marquardt (LM) and Conjugate Gradient (CG), which we specifically tailor towards Gaussian Splatting. Our key insight is that the Jacobian in 3DGS exhibits significant sparsity since each Gaussian affects only a limited number of pixels. We exploit this sparsity by proposing a matrix-free and GPU-parallelized LM optimization. To further improve its efficiency, we propose sampling strategies for both the camera views and loss function and, consequently, the normal equation, significantly reducing the computational complexity. In addition, we increase the convergence rate of the second-order approximation by introducing an effective heuristic to determine the learning rate that avoids the expensive computation cost of line search methods. As a result, our method achieves a $3\times$ speedup over standard LM and outperforms Adam by $~6\times$ when the Gaussian count is low while remaining competitive for moderate counts. Project Page: https://vcai.mpi-inf.mpg.de/projects/LM-IS