Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting

📄 arXiv: 2505.20729v1 📥 PDF

作者: Xiangyu Sun, Runnan Chen, Mingming Gong, Dong Xu, Tongliang Liu

分类: cs.CV

发布日期: 2025-05-27

💡 一句话要点

Intern-GS：利用视觉模型引导的稀疏视图3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D重建 高斯溅射 稀疏视图 视觉基础模型 场景重建 深度预测 外观预测

📋 核心要点

  1. 稀疏视图重建面临信息不完整的挑战，现有方法难以获得高质量重建效果。
  2. Intern-GS利用视觉基础模型指导3D高斯溅射的初始化和优化，弥补稀疏视图缺失的信息。
  3. 实验表明，Intern-GS在多种数据集上实现了最先进的渲染质量，包括LLFF、DTU和Tanks and Temples。

📝 摘要（中文）

稀疏视图场景重建由于有限的观测数据而面临重大挑战。这些限制导致信息不完整，使得现有方法重建效果欠佳。为了解决这个问题，我们提出了Intern-GS，一种新颖的方法，它有效地利用视觉基础模型中的丰富先验知识来增强稀疏视图高斯溅射的过程，从而实现高质量的场景重建。具体来说，Intern-GS利用视觉基础模型来指导3D高斯溅射的初始化和优化过程，有效地解决了稀疏输入带来的限制。在初始化过程中，我们的方法采用DUSt3R生成密集且非冗余的高斯点云。这种方法显著缓解了传统运动结构恢复（SfM）方法在稀疏视图约束下遇到的限制。在优化过程中，视觉基础模型预测未观察到的视图的深度和外观，细化3D高斯分布以补偿未见区域中缺失的信息。大量实验表明，Intern-GS在包括前向场景和大规模场景（如LLFF、DTU和Tanks and Temples）在内的各种数据集上实现了最先进的渲染质量。

🔬 方法详解

问题定义：论文旨在解决稀疏视图下3D场景重建质量不高的问题。现有方法在稀疏视图下，由于缺乏足够的几何和外观信息，导致重建结果不完整、不准确，难以达到令人满意的渲染效果。传统的Structure-from-Motion (SfM) 方法在稀疏视图下表现不佳，难以生成高质量的初始点云。

核心思路：论文的核心思路是利用视觉基础模型提供的先验知识，指导3D高斯溅射的初始化和优化过程。通过视觉基础模型预测未观测视图的深度和外观信息，从而弥补稀疏视图带来的信息缺失，提升重建质量。这种方法将数据驱动的视觉先验知识融入到几何重建过程中，是一种有效的知识迁移方法。

技术框架：Intern-GS主要包含两个阶段：初始化阶段和优化阶段。在初始化阶段，使用DUSt3R生成密集且非冗余的高斯点云，克服了传统SfM方法在稀疏视图下的局限性。在优化阶段，利用视觉基础模型预测未观测视图的深度和外观，并将其作为约束来优化3D高斯参数，从而提高重建质量。

关键创新：该方法最重要的创新在于将视觉基础模型引入到3D高斯溅射的流程中，利用视觉基础模型强大的图像理解和生成能力，为稀疏视图重建提供额外的几何和外观信息。与传统的基于几何约束的重建方法相比，Intern-GS能够更好地处理信息不完整的情况，从而获得更准确、更完整的重建结果。

关键设计：在初始化阶段，DUSt3R用于生成初始高斯点云。在优化阶段，使用视觉基础模型预测未观测视图的深度和外观，这些预测结果被用作正则化项，加入到损失函数中，以约束3D高斯的优化过程。损失函数可能包含渲染损失、深度一致性损失和外观一致性损失等。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Intern-GS在LLFF、DTU和Tanks and Temples等数据集上取得了state-of-the-art的渲染质量。与现有方法相比，Intern-GS在稀疏视图下的重建效果有显著提升，尤其是在几何细节和纹理质量方面。具体的性能数据和提升幅度需要在论文中查找（未知）。

🎯 应用场景

Intern-GS在三维重建、虚拟现实、增强现实、机器人导航等领域具有广泛的应用前景。它可以用于从少量图像中重建高质量的3D场景，降低了三维重建的成本和难度。该技术可以应用于自动驾驶、机器人导航等领域，帮助机器人更好地理解周围环境。未来，该技术可以与更多的视觉基础模型相结合，进一步提高重建质量和效率。

📄 摘要（原文）

Sparse-view scene reconstruction often faces significant challenges due to the constraints imposed by limited observational data. These limitations result in incomplete information, leading to suboptimal reconstructions using existing methodologies. To address this, we present Intern-GS, a novel approach that effectively leverages rich prior knowledge from vision foundation models to enhance the process of sparse-view Gaussian Splatting, thereby enabling high-quality scene reconstruction. Specifically, Intern-GS utilizes vision foundation models to guide both the initialization and the optimization process of 3D Gaussian splatting, effectively addressing the limitations of sparse inputs. In the initialization process, our method employs DUSt3R to generate a dense and non-redundant gaussian point cloud. This approach significantly alleviates the limitations encountered by traditional structure-from-motion (SfM) methods, which often struggle under sparse-view constraints. During the optimization process, vision foundation models predict depth and appearance for unobserved views, refining the 3D Gaussians to compensate for missing information in unseen regions. Extensive experiments demonstrate that Intern-GS achieves state-of-the-art rendering quality across diverse datasets, including both forward-facing and large-scale scenes, such as LLFF, DTU, and Tanks and Temples.