CuriGS: Curriculum-Guided Gaussian Splatting for Sparse View Synthesis

📄 arXiv: 2511.16030v1 📥 PDF

作者: Zijian Wu, Mingfeng Jiang, Zidian Lin, Ying Song, Hanjie Ma, Qun Wu, Dongping Zhang, Guiyang Pu

分类: cs.CV

发布日期: 2025-11-20

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

CuriGS：面向稀疏视图合成的课程引导高斯溅射方法

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D高斯溅射 稀疏视图合成 课程学习 伪视图生成 场景重建

📋 核心要点

  1. 现有3DGS方法在稀疏视图下易过拟合，缺乏足够的监督信息，重建质量下降。
  2. CuriGS通过引入课程学习机制，生成教师视图周围的伪视图（学生视图）来增强训练数据。
  3. 实验表明，CuriGS在渲染保真度和几何一致性方面优于现有方法，尤其是在稀疏视图场景下。

📝 摘要（中文）

3D高斯溅射(3DGS)最近成为一种高效、高保真的场景重建和渲染表示方法。然而，由于监督信息的稀缺以及有限视点覆盖导致的过拟合，将3DGS扩展到稀疏视图设置仍然具有挑战性。本文提出CuriGS，一个使用3DGS进行稀疏视图3D重建的课程引导框架。CuriGS通过引入学生视图来解决稀疏视图合成的核心挑战：学生视图是在真实姿态（教师）周围采样的伪视图。对于每个教师，我们生成多组具有不同扰动级别的学生视图。在训练过程中，我们遵循一个课程表，逐步解锁更高的扰动级别，随机从活跃级别采样候选学生来辅助训练。每个采样的学生通过深度相关性和协同正则化进行正则化，并使用结合了SSIM、LPIPS和图像质量测量的多信号度量进行评估。对于每个教师和扰动级别，我们定期保留表现最佳的学生，并将满足预定义质量阈值的学生提升到训练集，从而稳定地扩充稀疏训练视图。实验结果表明，CuriGS在各种合成和真实稀疏视图场景中的渲染保真度和几何一致性方面均优于最先进的基线方法。

🔬 方法详解

问题定义：论文旨在解决在稀疏视图条件下，3D高斯溅射（3DGS）重建场景时，由于缺乏足够的监督信息而导致的过拟合问题。现有的3DGS方法在密集视图下表现良好，但在稀疏视图下，几何结构容易扭曲，渲染质量显著下降。

核心思路：论文的核心思路是利用课程学习的思想，逐步引入难度递增的伪视图（学生视图）来扩充训练数据。通过在真实视图（教师视图）周围添加扰动生成学生视图，并设计相应的正则化方法和选择策略，从而缓解稀疏视图下的过拟合问题。

技术框架：CuriGS框架包含以下主要模块：1) 学生视图生成模块：在教师视图周围采样生成不同扰动级别的学生视图。2) 课程学习模块：按照预定义的课程表，逐步解锁更高扰动级别的学生视图。3) 正则化模块：利用深度相关性和协同正则化来约束学生视图的学习。4) 学生视图选择模块：根据多信号度量（SSIM, LPIPS, 图像质量）评估学生视图的质量，并选择高质量的学生视图加入训练集。

关键创新：CuriGS的关键创新在于引入了课程引导的学生视图生成和选择机制。不同于简单的数据增强，CuriGS根据课程表逐步增加学生视图的难度，并根据质量指标动态选择合适的学生视图，从而更有效地利用伪视图来提升3DGS在稀疏视图下的重建效果。

关键设计：课程表的设计至关重要，它决定了学生视图扰动级别解锁的顺序。论文中采用了一种线性递增的课程表。此外，深度相关性正则化利用教师视图和学生视图之间的深度信息来约束学生视图的几何结构。协同正则化则鼓励相邻学生视图之间的一致性。多信号度量综合考虑了图像相似度、感知质量和图像质量，从而更准确地评估学生视图的质量。

📊 实验亮点

实验结果表明，CuriGS在合成和真实稀疏视图场景中均优于现有方法。例如，在合成数据集上，CuriGS在PSNR指标上比最先进的基线方法提高了约2-3dB。在真实数据集上，CuriGS也取得了显著的性能提升，并且在视觉效果上具有更好的几何一致性。

🎯 应用场景

CuriGS在稀疏视图重建领域具有广泛的应用前景，例如在机器人导航、自动驾驶、虚拟现实和增强现实等领域。该方法可以利用有限的图像数据重建高质量的3D场景，降低数据采集成本，提高系统的鲁棒性和适应性。未来，CuriGS可以进一步扩展到动态场景重建和大规模场景重建等更具挑战性的任务中。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has recently emerged as an efficient, high-fidelity representation for real-time scene reconstruction and rendering. However, extending 3DGS to sparse-view settings remains challenging because of supervision scarcity and overfitting caused by limited viewpoint coverage. In this paper, we present CuriGS, a curriculum-guided framework for sparse-view 3D reconstruction using 3DGS. CuriGS addresses the core challenge of sparse-view synthesis by introducing student views: pseudo-views sampled around ground-truth poses (teacher). For each teacher, we generate multiple groups of student views with different perturbation levels. During training, we follow a curriculum schedule that gradually unlocks higher perturbation level, randomly sampling candidate students from the active level to assist training. Each sampled student is regularized via depth-correlation and co-regularization, and evaluated using a multi-signal metric that combines SSIM, LPIPS, and an image-quality measure. For every teacher and perturbation level, we periodically retain the best-performing students and promote those that satisfy a predefined quality threshold to the training set, resulting in a stable augmentation of sparse training views. Experimental results show that CuriGS outperforms state-of-the-art baselines in both rendering fidelity and geometric consistency across various synthetic and real sparse-view scenes. Project page: https://zijian1026.github.io/CuriGS/