UGOD: Uncertainty-Guided Differentiable Opacity and Soft Dropout for Enhanced Sparse-View 3DGS

📄 arXiv: 2508.04968v1 📥 PDF

作者: Zhihao Guo, Peng Wang, Zidong Chen, Xiangyu Kong, Yan Lyu, Guanyu Gao, Liangxiu Han

分类: cs.CV, cs.AI

发布日期: 2025-08-07

备注: 11 pages, 5 figures

💡 一句话要点

UGOD：不确定性引导的可微透明度和软Dropout，增强稀疏视角3DGS

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 稀疏视角 不确定性学习 可微渲染

📋 核心要点

  1. 现有3DGS方法在稀疏视角下易过拟合，因为它们对所有高斯赋予相同权重，忽略了高斯的重要性差异。
  2. 论文提出一种基于不确定性引导的3DGS改进方法，通过学习高斯的不确定性来指导透明度更新和软dropout正则化。
  3. 实验表明，该方法在稀疏视角下优于现有方法，例如在MipNeRF 360数据集上PSNR提升了3.27%。

📝 摘要（中文）

3D高斯溅射(3DGS)通过3D高斯投影和混合实现了先进的渲染效率，成为新视角合成(NVS)领域极具竞争力的方法。然而，大多数3DGS方法在渲染时对高斯赋予相同的权重，这使得它们容易过拟合，尤其是在稀疏视角场景中。为了解决这个问题，我们研究了高斯自适应加权如何影响渲染质量，这通过学习到的不确定性来表征。这种学习到的不确定性有两个关键目的：首先，它引导高斯透明度的可微更新，同时保持3DGS流程的完整性；其次，不确定性经历软可微dropout正则化，策略性地将原始不确定性转换为连续的dropout概率，从而控制最终的高斯投影和混合过程以进行渲染。在广泛采用的数据集上的大量实验结果表明，我们的方法在稀疏视角3D合成方面优于竞争对手，与现有的稀疏视角方法相比，在大多数数据集上以更少的高斯实现了更高质量的重建，例如，与DropGaussian相比，我们的方法在MipNeRF 360数据集上实现了3.27%的PSNR提升。

🔬 方法详解

问题定义：现有的3DGS方法在稀疏视角下容易过拟合，因为它们在渲染时对所有高斯赋予相同的权重，没有区分不同高斯的重要性。这导致模型在有限的视角下学习到不准确的几何结构和外观，从而影响新视角的合成质量。DropGaussian等方法尝试解决这个问题，但仍有提升空间。

核心思路：论文的核心思路是引入一个可学习的不确定性度量，用于指导高斯透明度的更新和dropout正则化。不确定性高的区域对应于模型不确定的部分，应该降低其权重或直接dropout，从而避免过拟合。通过这种方式，模型可以更加关注重要的区域，提高泛化能力。

技术框架：该方法在标准的3DGS框架基础上进行改进。主要包含以下几个模块：1) 高斯参数初始化与优化；2) 不确定性预测模块，用于预测每个高斯的不确定性；3) 透明度更新模块，利用不确定性引导高斯透明度的可微更新；4) 软dropout正则化模块，将不确定性转化为dropout概率，用于控制高斯投影和混合过程；5) 渲染模块，基于更新后的高斯参数和dropout概率进行新视角的合成。

关键创新：该方法最重要的创新点在于引入了不确定性引导的透明度更新和软dropout正则化。与传统的dropout方法不同，该方法采用软dropout，将不确定性转化为连续的dropout概率，从而实现更加精细的控制。此外，不确定性还用于指导透明度的更新，使得模型能够更加关注重要的区域。

关键设计：不确定性预测模块可以使用一个小的MLP网络，输入高斯的特征（如位置、缩放、旋转等），输出一个标量值表示不确定性。透明度更新模块可以使用一个sigmoid函数将不确定性映射到[0, 1]区间，然后用于调整高斯的透明度。软dropout正则化可以使用一个可学习的温度参数来控制dropout概率的分布。损失函数包括渲染损失（如L1损失、PSNR等）和正则化损失，用于约束不确定性的分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个数据集上优于现有的稀疏视角3DGS方法。例如，在MipNeRF 360数据集上，该方法相比DropGaussian实现了3.27%的PSNR提升。此外，该方法在保持较高重建质量的同时，可以使用更少的高斯，从而降低计算成本和存储空间。

🎯 应用场景

该研究成果可应用于各种需要从稀疏视角进行3D重建和新视角合成的场景，例如：机器人导航、自动驾驶、虚拟现实、增强现实、文物数字化等。通过提高稀疏视角下的重建质量，可以降低数据采集成本，提高系统的鲁棒性和泛化能力，具有重要的实际应用价值和广阔的市场前景。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has become a competitive approach for novel view synthesis (NVS) due to its advanced rendering efficiency through 3D Gaussian projection and blending. However, Gaussians are treated equally weighted for rendering in most 3DGS methods, making them prone to overfitting, which is particularly the case in sparse-view scenarios. To address this, we investigate how adaptive weighting of Gaussians affects rendering quality, which is characterised by learned uncertainties proposed. This learned uncertainty serves two key purposes: first, it guides the differentiable update of Gaussian opacity while preserving the 3DGS pipeline integrity; second, the uncertainty undergoes soft differentiable dropout regularisation, which strategically transforms the original uncertainty into continuous drop probabilities that govern the final Gaussian projection and blending process for rendering. Extensive experimental results over widely adopted datasets demonstrate that our method outperforms rivals in sparse-view 3D synthesis, achieving higher quality reconstruction with fewer Gaussians in most datasets compared to existing sparse-view approaches, e.g., compared to DropGaussian, our method achieves 3.27\% PSNR improvements on the MipNeRF 360 dataset.