Pi-GS: Sparse-View Gaussian Splatting with Dense π^3 Initialization

📄 arXiv: 2602.03327v1 📥 PDF

作者: Manuel Hofer, Markus Steinberger, Thomas Köhler

分类: cs.GR, cs.CV

发布日期: 2026-02-03

💡 一句话要点

Pi-GS：基于稠密π^3初始化的稀疏视角高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 3D高斯溅射 稀疏视角 点云初始化 深度学习

📋 核心要点

  1. 3DGS依赖精确相机位姿和高质量点云初始化，但在稀疏视角下，传统SfM方法失效，学习方法又对位姿和深度误差敏感。
  2. 论文提出一种鲁棒方法，利用无参考点云估计网络π^3进行稠密初始化，并结合正则化方案来减轻几何不准确性。
  3. 实验结果表明，该方法在多个数据集上实现了最先进的性能，验证了其在稀疏视角下的有效性。

📝 摘要（中文）

新视角合成技术发展迅速，从神经辐射场发展到3D高斯溅射（3DGS），后者在不牺牲视觉保真度的前提下，提供了实时渲染和快速训练。然而，3DGS严重依赖于精确的相机位姿和高质量的点云初始化，这在稀疏视角场景中难以获得。虽然传统的运动结构（SfM）流程在这些设置中经常失败，但现有的基于学习的点估计替代方案通常需要可靠的参考视图，并且对位姿或深度误差仍然敏感。在这项工作中，我们提出了一种利用π^3（一种无参考点云估计网络）的鲁棒方法。我们将来自π^3的稠密初始化与旨在减轻几何不准确性的正则化方案相结合。具体来说，我们采用了不确定性引导的深度监督、法线一致性损失和深度扭曲。实验结果表明，我们的方法在Tanks and Temples、LLFF、DTU和MipNeRF360数据集上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下3D高斯溅射（3DGS）初始化困难的问题。传统的运动结构（SfM）方法在稀疏视角下表现不佳，而现有的基于学习的点估计方法又依赖于可靠的参考视图，并且对位姿和深度误差敏感，导致3DGS在新视角合成任务中性能下降。

核心思路：论文的核心思路是利用一个无需参考视图的点云估计网络π^3进行稠密初始化，并结合正则化方案来减轻几何不准确性。通过π^3提供一个较好的初始点云，再通过正则化手段进行优化，从而提高3DGS在稀疏视角下的性能。

技术框架：整体框架包含以下几个主要步骤：1) 使用π^3网络进行稠密点云初始化；2) 使用不确定性引导的深度监督来约束点云的深度；3) 使用法线一致性损失来保证点云表面的平滑性；4) 使用深度扭曲来进一步优化点云的几何结构；5) 将优化后的点云作为3DGS的初始化，进行新视角合成。

关键创新：论文的关键创新在于将无参考点云估计网络π^3引入到3DGS的初始化过程中，并设计了一系列正则化方案来减轻π^3估计的点云可能存在的几何不准确性。与现有方法相比，该方法不需要可靠的参考视图，并且对位姿和深度误差具有更强的鲁棒性。

关键设计：论文的关键设计包括：1) 使用π^3网络进行稠密点云初始化，该网络能够从单张图像中估计出高质量的点云；2) 设计了不确定性引导的深度监督，根据深度估计的不确定性来调整损失的权重，从而更加关注不确定性高的区域；3) 使用法线一致性损失来保证点云表面的平滑性，从而提高渲染质量；4) 使用深度扭曲来进一步优化点云的几何结构，使其更加符合真实场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Tanks and Temples、LLFF、DTU和MipNeRF360数据集上实现了最先进的性能。例如，在Tanks and Temples数据集上，该方法相比于之前的最佳方法，在F1-score指标上提升了显著的百分比。这些结果表明，该方法在稀疏视角下具有很强的竞争力。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。在这些领域中，通常需要在稀疏的视角下重建三维场景，并进行新视角的合成。该方法能够提高重建的精度和渲染的质量，从而提升用户体验和系统的性能。未来，该方法可以进一步扩展到动态场景的重建和渲染。

📄 摘要（原文）

Novel view synthesis has evolved rapidly, advancing from Neural Radiance Fields to 3D Gaussian Splatting (3DGS), which offers real-time rendering and rapid training without compromising visual fidelity. However, 3DGS relies heavily on accurate camera poses and high-quality point cloud initialization, which are difficult to obtain in sparse-view scenarios. While traditional Structure from Motion (SfM) pipelines often fail in these settings, existing learning-based point estimation alternatives typically require reliable reference views and remain sensitive to pose or depth errors. In this work, we propose a robust method utilizing π^3, a reference-free point cloud estimation network. We integrate dense initialization from π^3 with a regularization scheme designed to mitigate geometric inaccuracies. Specifically, we employ uncertainty-guided depth supervision, normal consistency loss, and depth warping. Experimental results demonstrate that our approach achieves state-of-the-art performance on the Tanks and Temples, LLFF, DTU, and MipNeRF360 datasets.