SA-ResGS: Self-Augmented Residual 3D Gaussian Splatting for Next Best View Selection

📄 arXiv: 2601.03024v1 📥 PDF

作者: Kim Jun-Seong, Tae-Hyun Oh, Eduardo Pérez-Pellitero, Youngkyoon Jang

分类: cs.CV

发布日期: 2026-01-06

💡 一句话要点

SA-ResGS：用于最佳视角选择的自增强残差3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 主动视角选择 场景重建 不确定性量化 残差学习

📋 核心要点

  1. 现有NBV方法在稀疏视角下存在不确定性估计不可靠和高斯欠监督问题，导致重建质量下降。
  2. SA-ResGS通过自增强点云和残差学习策略，提升不确定性估计的可靠性，并增强对弱贡献高斯的监督。
  3. 实验结果表明，SA-ResGS在重建质量和视角选择鲁棒性方面均优于现有方法，实现了更高效的场景重建。

📝 摘要（中文）

本文提出了一种自增强残差3D高斯溅射(SA-ResGS)的新框架，旨在稳定主动场景重建中最佳视角选择(NBV)的不确定性量化，并增强不确定性感知监督。SA-ResGS通过在训练视图和光栅化外推视图之间进行三角测量来生成自增强点云(SA-Points)，从而提高不确定性估计的可靠性及其对监督的有效性，从而实现有效的场景覆盖估计。在通过物理引导的视角选择改进场景覆盖的同时，SA-ResGS还通过引入首个为3D高斯溅射量身定制的残差学习策略，解决了稀疏和宽基线视角加剧的高斯欠监督问题。这种有针对性的监督通过结合不确定性驱动的过滤与dropout和hard-negative-mining启发的采样，增强了高不确定性高斯中的梯度流动。本文的贡献有三方面：(1)一种物理基础的视角选择策略，可促进高效且均匀的场景覆盖；(2)一种不确定性感知的残差监督方案，可放大对弱贡献高斯的学习信号，从而提高具有不同相机分布的场景中的训练稳定性和不确定性估计；(3)对不确定性量化的隐式无偏，这是受约束的视角选择和残差监督的结果，它们共同减轻了NBV规划中宽基线探索和稀疏视角模糊的冲突影响。在主动视角选择方面的实验表明，SA-ResGS在重建质量和视角选择鲁棒性方面均优于最先进的基线。

🔬 方法详解

问题定义：论文旨在解决主动场景重建中，在稀疏视角下，由于不确定性量化不稳定和高斯欠监督导致重建质量下降的问题。现有方法在宽基线和稀疏视角下，难以准确估计不确定性，并且对贡献较小的高斯分布缺乏有效的监督，影响了整体重建效果。

核心思路：论文的核心思路是通过引入自增强点云（SA-Points）来改善场景覆盖估计，并利用残差学习策略来增强对高不确定性高斯的监督。自增强点云通过训练视图和外推视图之间的三角测量生成，从而提供更全面的场景信息。残差学习则通过关注高斯分布的残差，增强梯度流动，提高训练稳定性和不确定性估计的准确性。

技术框架：SA-ResGS框架主要包含以下几个阶段：1) 使用3D高斯溅射进行场景表示；2) 通过训练视图和外推视图生成自增强点云（SA-Points）；3) 利用SA-Points进行场景覆盖估计，并选择下一个最佳视角；4) 使用残差学习策略，结合不确定性驱动的过滤和采样，对高斯分布进行监督训练。整个框架通过迭代视角选择和高斯优化，逐步完善场景重建。

关键创新：论文的关键创新在于：1) 提出了自增强点云（SA-Points）的概念，用于改善场景覆盖估计；2) 引入了针对3D高斯溅射的残差学习策略，增强了对高不确定性高斯的监督；3) 结合了物理引导的视角选择和残差监督，实现了不确定性量化的隐式无偏。

关键设计：在残差学习中，论文采用了不确定性驱动的过滤，只关注高不确定性的高斯分布。同时，借鉴了dropout和hard-negative-mining的思想，对高斯分布进行采样，以增强梯度流动。损失函数的设计也考虑了残差项，以引导高斯分布向更准确的方向优化。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SA-ResGS在主动视角选择任务中表现出色，在重建质量和视角选择鲁棒性方面均优于现有方法。具体性能提升数据和对比基线信息需要在论文中查找。该方法通过自增强点云和残差学习，有效解决了稀疏视角下的不确定性量化和高斯欠监督问题，实现了更准确和鲁棒的场景重建。

🎯 应用场景

SA-ResGS可应用于机器人自主探索、自动驾驶、虚拟现实、增强现实等领域。通过主动视角选择和高质量的场景重建，可以提高机器人的环境感知能力，改善自动驾驶系统的安全性，并为用户提供更逼真的沉浸式体验。该研究对于提升三维场景重建的效率和质量具有重要意义。

📄 摘要（原文）

We propose Self-Augmented Residual 3D Gaussian Splatting (SA-ResGS), a novel framework to stabilize uncertainty quantification and enhancing uncertainty-aware supervision in next-best-view (NBV) selection for active scene reconstruction. SA-ResGS improves both the reliability of uncertainty estimates and their effectiveness for supervision by generating Self-Augmented point clouds (SA-Points) via triangulation between a training view and a rasterized extrapolated view, enabling efficient scene coverage estimation. While improving scene coverage through physically guided view selection, SA-ResGS also addresses the challenge of under-supervised Gaussians, exacerbated by sparse and wide-baseline views, by introducing the first residual learning strategy tailored for 3D Gaussian Splatting. This targeted supervision enhances gradient flow in high-uncertainty Gaussians by combining uncertainty-driven filtering with dropout- and hard-negative-mining-inspired sampling. Our contributions are threefold: (1) a physically grounded view selection strategy that promotes efficient and uniform scene coverage; (2) an uncertainty-aware residual supervision scheme that amplifies learning signals for weakly contributing Gaussians, improving training stability and uncertainty estimation across scenes with diverse camera distributions; (3) an implicit unbiasing of uncertainty quantification as a consequence of constrained view selection and residual supervision, which together mitigate conflicting effects of wide-baseline exploration and sparse-view ambiguity in NBV planning. Experiments on active view selection demonstrate that SA-ResGS outperforms state-of-the-art baselines in both reconstruction quality and view selection robustness.