PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting
作者: Sunghwan Hong, Jaewoo Jung, Heeseong Shin, Jisang Han, Jiaolong Yang, Chong Luo, Seungryong Kim
分类: cs.CV
发布日期: 2024-10-29 (更新: 2025-07-24)
备注: Accepted by ICML'25
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
PF3plat：无需位姿的单次前馈3D高斯溅射，实现无位姿图像的新视角合成
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 3D高斯溅射 无位姿学习 深度估计 视觉对应
📋 核心要点
- 现有新视角合成方法依赖于精确的相机位姿和密集的图像覆盖，限制了其在实际场景中的应用。
- PF3plat利用预训练的深度估计和视觉对应模型进行粗略对齐，并通过可学习模块进行位姿和深度细化。
- 实验表明，PF3plat在无位姿图像的新视角合成任务中取得了显著的性能提升，刷新了多个数据集的SOTA。
📝 摘要（中文）
本文研究了从无位姿图像中进行单次前馈新视角合成的问题。我们的框架利用了3D高斯溅射（3DGS）的快速性、可扩展性以及高质量的3D重建和视角合成能力，并进一步扩展它，提供了一个实用的解决方案，放宽了常见的假设，如密集的图像视角、精确的相机位姿和大量的图像重叠。我们通过识别和解决像素对齐3DGS带来的独特挑战来实现这一点：不同视角之间未对齐的3D高斯会导致噪声或稀疏梯度，从而破坏训练的稳定性并阻碍收敛，尤其是在不满足上述假设时。为了缓解这个问题，我们采用预训练的单目深度估计和视觉对应模型来实现3D高斯的粗略对齐。然后，我们引入轻量级的可学习模块来细化来自粗略对齐的深度和位姿估计，从而提高3D重建和新视角合成的质量。此外，细化的估计被用于估计几何置信度分数，该分数评估3D高斯中心的可靠性，并相应地调节高斯参数的预测。在大型真实世界数据集上的大量评估表明，PF3plat在所有基准测试中都达到了新的最先进水平，并通过全面的消融研究验证了我们的设计选择。
🔬 方法详解
问题定义：论文旨在解决从无位姿图像中进行高质量新视角合成的问题。现有方法通常依赖于精确的相机位姿信息和密集的图像覆盖，这在实际应用中难以满足。当这些假设不成立时，基于3D高斯溅射（3DGS）的方法会因为未对齐的3D高斯导致训练不稳定和收敛困难。
核心思路：论文的核心思路是利用预训练的单目深度估计和视觉对应模型来对3D高斯进行粗略对齐，然后通过轻量级的可学习模块来细化深度和位姿估计。此外，还引入了几何置信度评分来评估3D高斯中心的可靠性，并以此调节高斯参数的预测。这种方法能够在缺乏精确位姿信息的情况下，实现高质量的3D重建和新视角合成。
技术框架：PF3plat的整体框架包括以下几个主要阶段：1) 使用预训练的单目深度估计和视觉对应模型进行初始的3D高斯粗略对齐。2) 引入轻量级的可学习模块，基于粗略对齐的结果，对深度和位姿进行细化。3) 利用细化后的位姿和深度估计几何置信度，评估3D高斯中心的可靠性。4) 根据几何置信度，调节3D高斯参数的预测，最终实现高质量的新视角合成。
关键创新：该论文的关键创新在于提出了一种无需精确位姿的3D高斯溅射方法，通过预训练模型和可学习模块的结合，实现了在无位姿图像条件下的高质量新视角合成。与传统方法相比，该方法不再依赖于精确的相机位姿信息，从而大大扩展了其应用范围。
关键设计：论文的关键设计包括：1) 使用预训练的单目深度估计和视觉对应模型进行粗略对齐，避免了从零开始训练带来的不稳定性。2) 设计了轻量级的可学习模块，用于细化深度和位姿估计，降低了计算复杂度。3) 引入了几何置信度评分，用于评估3D高斯中心的可靠性，并以此调节高斯参数的预测，提高了合成质量。损失函数的设计也至关重要，可能包括光度一致性损失、深度一致性损失等。
🖼️ 关键图片
📊 实验亮点
PF3plat在多个大型真实世界数据集上进行了评估，并在所有基准测试中都达到了新的最先进水平。实验结果表明，该方法在无位姿图像的新视角合成任务中，显著优于现有的方法。消融研究验证了各个模块的设计选择，证明了预训练模型、可学习模块和几何置信度评分的有效性。
🎯 应用场景
PF3plat在机器人导航、自动驾驶、虚拟现实/增强现实等领域具有广泛的应用前景。它能够利用无位姿的图像数据进行场景重建和新视角合成，从而降低了对传感器精度的要求，提高了系统的鲁棒性和适应性。该技术还有助于从互联网图像中重建3D场景，为城市建模、文化遗产保护等领域提供新的解决方案。
📄 摘要（原文）
We consider the problem of novel view synthesis from unposed images in a single feed-forward. Our framework capitalizes on fast speed, scalability, and high-quality 3D reconstruction and view synthesis capabilities of 3DGS, where we further extend it to offer a practical solution that relaxes common assumptions such as dense image views, accurate camera poses, and substantial image overlaps. We achieve this through identifying and addressing unique challenges arising from the use of pixel-aligned 3DGS: misaligned 3D Gaussians across different views induce noisy or sparse gradients that destabilize training and hinder convergence, especially when above assumptions are not met. To mitigate this, we employ pre-trained monocular depth estimation and visual correspondence models to achieve coarse alignments of 3D Gaussians. We then introduce lightweight, learnable modules to refine depth and pose estimates from the coarse alignments, improving the quality of 3D reconstruction and novel view synthesis. Furthermore, the refined estimates are leveraged to estimate geometry confidence scores, which assess the reliability of 3D Gaussian centers and condition the prediction of Gaussian parameters accordingly. Extensive evaluations on large-scale real-world datasets demonstrate that PF3plat sets a new state-of-the-art across all benchmarks, supported by comprehensive ablation studies validating our design choices. project page: https://cvlab-kaist.github.io/PF3plat/