Opt3DGS: Optimizing 3D Gaussian Splatting with Adaptive Exploration and Curvature-Aware Exploitation

📄 arXiv: 2511.13571v1 📥 PDF

作者: Ziyang Huang, Jiagang Chen, Jin Liu, Shunping Ji

分类: cs.CV

发布日期: 2025-11-17

备注: Accepted at AAAI 2026 as a Conference Paper

💡 一句话要点

Opt3DGS：通过自适应探索和曲率感知利用优化3D高斯溅射

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 新视角合成 优化算法 随机梯度朗之万动力学 拟牛顿法

📋 核心要点

  1. 3DGS虽然在novel view synthesis表现出色，但其优化过程容易陷入局部最优，收敛质量有待提高。
  2. Opt3DGS通过自适应探索和曲率引导的利用两个阶段的优化，增强了3DGS的优化过程，提升渲染质量。
  3. 实验结果表明，Opt3DGS在多个基准数据集上实现了state-of-the-art的渲染质量，无需修改3DGS的底层表示。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为新视角合成领域领先的框架，但其核心优化挑战仍未得到充分探索。本文指出了3DGS优化中的两个关键问题：陷入次优局部最优解和收敛质量不足。为了解决这些问题，我们提出了Opt3DGS，一个鲁棒的框架，通过自适应探索和曲率引导的利用这两个阶段的优化过程来增强3DGS。在探索阶段，自适应加权随机梯度朗之万动力学(SGLD)方法增强了全局搜索能力，以逃脱局部最优解。在利用阶段，局部拟牛顿方向引导的Adam优化器利用曲率信息进行精确和高效的收敛。在各种基准数据集上的大量实验表明，Opt3DGS通过改进3DGS优化过程，在不修改其底层表示的情况下，实现了最先进的渲染质量。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)在优化过程中容易陷入局部最优解，导致渲染质量下降，并且收敛速度和最终的收敛质量仍有提升空间。现有的优化方法可能无法有效地探索整个参数空间，或者在接近最优解时收敛速度较慢。

核心思路：Opt3DGS的核心思路是将优化过程分为两个阶段：自适应探索和曲率感知利用。自适应探索阶段旨在通过增强全局搜索能力，帮助模型逃脱局部最优解。曲率感知利用阶段则侧重于利用曲率信息，加速收敛并提高收敛质量。这种两阶段策略旨在平衡全局探索和局部精细化，从而实现更鲁棒和高效的优化。

技术框架：Opt3DGS的整体框架包含两个主要阶段： 1. 自适应探索阶段：使用自适应加权随机梯度朗之万动力学(SGLD)方法，通过调整噪声水平和学习率，增强全局搜索能力，避免陷入局部最优。 2. 曲率感知利用阶段：使用局部拟牛顿方向引导的Adam优化器，利用曲率信息指导优化方向，加速收敛并提高收敛精度。

关键创新：Opt3DGS的关键创新在于其两阶段优化策略，以及每个阶段中使用的具体优化方法。自适应加权SGLD方法能够根据优化过程的状态动态调整探索强度，而局部拟牛顿方向引导的Adam优化器则能够有效地利用曲率信息，提高收敛速度和精度。与传统的优化方法相比，Opt3DGS能够更有效地探索参数空间，并更快地收敛到高质量的解。

关键设计： * 自适应加权SGLD：根据梯度范数动态调整噪声水平和学习率，平衡探索和利用。 * 局部拟牛顿方向引导的Adam：使用L-BFGS方法估计局部曲率信息，并将其融入Adam优化器的更新方向中。 * 损失函数：采用标准的渲染损失函数，例如L1损失或L2损失，以及可选的正则化项，以提高模型的泛化能力。

📊 实验亮点

Opt3DGS在多个基准数据集上取得了state-of-the-art的渲染质量。例如，在某些数据集上，Opt3DGS相比于原始的3DGS方法，PSNR指标提升了显著幅度。此外，Opt3DGS的收敛速度也更快，能够在更短的时间内达到更高的渲染质量。这些实验结果表明，Opt3DGS能够有效地解决3DGS优化中的局部最优和收敛质量问题。

🎯 应用场景

Opt3DGS的潜在应用领域包括：新视角合成、虚拟现实/增强现实、三维重建、自动驾驶等。通过提高3DGS的渲染质量和优化效率，Opt3DGS可以为这些应用提供更逼真、更高效的三维场景表示和渲染能力。未来，该方法可以进一步扩展到动态场景的建模和渲染，以及与其他三维表示方法的结合。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a leading framework for novel view synthesis, yet its core optimization challenges remain underexplored. We identify two key issues in 3DGS optimization: entrapment in suboptimal local optima and insufficient convergence quality. To address these, we propose Opt3DGS, a robust framework that enhances 3DGS through a two-stage optimization process of adaptive exploration and curvature-guided exploitation. In the exploration phase, an Adaptive Weighted Stochastic Gradient Langevin Dynamics (SGLD) method enhances global search to escape local optima. In the exploitation phase, a Local Quasi-Newton Direction-guided Adam optimizer leverages curvature information for precise and efficient convergence. Extensive experiments on diverse benchmark datasets demonstrate that Opt3DGS achieves state-of-the-art rendering quality by refining the 3DGS optimization process without modifying its underlying representation.