DropoutGS: Dropping Out Gaussians for Better Sparse-view Rendering

📄 arXiv: 2504.09491v1 📥 PDF

作者: Yexing Xu, Longguang Wang, Minglin Chen, Sheng Ao, Li Li, Yulan Guo

分类: cs.CV

发布日期: 2025-04-13

备注: Accepted by CVPR 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DropoutGS：通过高斯随机丢弃提升稀疏视角下的3DGS渲染效果

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 稀疏视角 novel view synthesis 随机丢弃 边缘引导 过拟合 正则化

📋 核心要点

  1. 现有3DGS方法在稀疏视角下易过拟合，导致渲染质量下降，难以生成高质量图像。
  2. DropoutGS通过随机丢弃高斯基元来降低模型复杂度，缓解过拟合，并利用边缘引导分裂策略补充细节。
  3. 实验表明，DropoutGS在稀疏视角下显著提升了3DGS的渲染性能，并在多个数据集上取得了SOTA结果。

📝 摘要（中文）

尽管3D高斯溅射(3DGS)在 novel view synthesis 中表现出良好的效果，但其性能在稀疏输入下会显著下降，并产生不良伪影。随着训练视角数量的减少，novel view synthesis 任务退化为一个高度欠定的问题，导致现有方法遭受严重的过拟合问题。有趣的是，我们观察到具有较少高斯基元的模型在稀疏输入下表现出较少的过拟合。受此启发，我们提出了一种随机丢弃正则化(RDR)方法，以利用低复杂度模型的优势来缓解过拟合。此外，为了弥补这些模型缺乏高频细节的问题，我们开发了一种边缘引导分裂策略(ESS)。通过这两种技术，我们的方法(称为DropoutGS)提供了一种简单而有效的插件方法，以提高现有3DGS方法的泛化性能。大量的实验表明，我们的DropoutGS在 Blender、LLFF 和 DTU 等基准数据集的稀疏视角下产生了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决在稀疏视角下，3D高斯溅射（3DGS）方法容易过拟合的问题。当训练视角数量不足时，3DGS模型会过度拟合已有的少量数据，导致在新视角下的渲染效果不佳，产生伪影，泛化能力差。

核心思路：论文的核心思路是通过降低模型的复杂度来缓解过拟合。作者观察到，使用较少高斯基元的模型在稀疏视角下表现出更低的过拟合程度。因此，论文提出随机丢弃高斯基元的方法，迫使模型学习更鲁棒的表示。同时，为了弥补模型复杂度降低带来的细节损失，引入了边缘引导的分裂策略。

技术框架：DropoutGS是一个即插即用的模块，可以集成到现有的3DGS框架中。主要包含两个模块：随机丢弃正则化（RDR）和边缘引导分裂策略（ESS）。RDR模块在训练过程中随机丢弃一部分高斯基元，降低模型复杂度。ESS模块则根据图像的边缘信息，对高斯基元进行分裂，以补充高频细节。

关键创新：论文的关键创新在于将随机丢弃正则化应用于3DGS模型中的高斯基元。与传统的dropout方法不同，DropoutGS直接作用于3D空间中的高斯分布，能够更有效地控制模型的复杂度，并提升在稀疏视角下的泛化能力。同时，边缘引导分裂策略能够有效地补充由于高斯基元数量减少而损失的细节信息。

关键设计：RDR模块的关键在于丢弃率的设置。论文通过实验确定了合适的丢弃率，以平衡模型的复杂度和表达能力。ESS模块的关键在于边缘检测算法的选择和分裂阈值的设置。论文使用了一种基于梯度的边缘检测算法，并根据实验结果设置了合适的分裂阈值，以保证分裂后的高斯基元能够有效地补充细节信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DropoutGS在Blender、LLFF和DTU等数据集的稀疏视角下，显著优于现有的3DGS方法。例如，在Blender数据集上，使用8个视角进行训练时，DropoutGS的PSNR指标比原始3DGS方法提升了2dB以上，证明了其在稀疏视角下的优越性能。

🎯 应用场景

DropoutGS可应用于各种需要从稀疏视角重建3D场景的应用中，例如：快速3D建模、机器人导航、增强现实、虚拟现实等。该方法能够提升在数据受限情况下的渲染质量，降低对训练数据量的需求，从而降低成本，提高效率，并扩展3DGS的应用范围。

📄 摘要（原文）

Although 3D Gaussian Splatting (3DGS) has demonstrated promising results in novel view synthesis, its performance degrades dramatically with sparse inputs and generates undesirable artifacts. As the number of training views decreases, the novel view synthesis task degrades to a highly under-determined problem such that existing methods suffer from the notorious overfitting issue. Interestingly, we observe that models with fewer Gaussian primitives exhibit less overfitting under sparse inputs. Inspired by this observation, we propose a Random Dropout Regularization (RDR) to exploit the advantages of low-complexity models to alleviate overfitting. In addition, to remedy the lack of high-frequency details for these models, an Edge-guided Splitting Strategy (ESS) is developed. With these two techniques, our method (termed DropoutGS) provides a simple yet effective plug-in approach to improve the generalization performance of existing 3DGS methods. Extensive experiments show that our DropoutGS produces state-of-the-art performance under sparse views on benchmark datasets including Blender, LLFF, and DTU. The project page is at: https://xuyx55.github.io/DropoutGS/.