Pose-Free Omnidirectional Gaussian Splatting for 360-Degree Videos with Consistent Depth Priors

📄 arXiv: 2603.23324v1 📥 PDF

作者: Chuanqing Zhuang, Xin Lu, Zehui Deng, Zhengda Lu, Yiqun Wang, Junqi Diao, Jun Xiao

分类: cs.CV

发布日期: 2026-03-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出PFGS360，实现无位姿全景视频的3D高斯重建与高质量新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 全景视频 无位姿重建 新视角合成 深度先验

📋 核心要点

  1. 现有全景3D高斯溅射方法依赖SfM提供相机位姿和稀疏点先验，速度慢且精度受限。
  2. PFGS360利用高斯深度先验，通过球形一致性感知位姿估计和深度内点感知稠密化，实现无位姿重建。
  3. 实验表明，PFGS360在真实和合成360度视频上，优于现有有/无位姿的3DGS方法，提升了重建质量。

📝 摘要（中文）

本文提出了一种名为PFGS360的无位姿全景3D高斯溅射方法，用于从无位姿的全景视频中重建3D高斯模型。为了实现精确的相机位姿估计，我们首先构建了一个球形一致性感知位姿估计模块，该模块通过利用高斯内部的深度先验，在重建的高斯模型和无位姿图像之间建立一致的2D-3D对应关系来恢复位姿。此外，为了提高新视角合成的逼真度，我们引入了一个深度内点感知的稠密化模块，用于提取深度内点和高斯离群点，利用一致的单目深度先验，实现高效的高斯稠密化，并获得逼真的新视角合成效果。实验结果表明，在真实和合成的360度视频上，该方法显著优于现有的无位姿和有位姿的3DGS方法。

🔬 方法详解

问题定义：现有全景3D高斯溅射方法通常依赖于Structure-from-Motion (SfM) 来提供相机位姿和稀疏点云先验。SfM过程耗时且容易受到噪声的影响，限制了重建效率和精度。因此，如何从无位姿的全景视频中高效、准确地重建3D高斯模型是一个关键问题。

核心思路：PFGS360的核心思路是利用3D高斯本身携带的深度信息作为先验，通过建立图像和3D高斯之间的2D-3D对应关系，迭代优化相机位姿和3D高斯参数。该方法避免了对SfM的依赖，从而提高了重建效率和鲁棒性。同时，通过深度内点感知的稠密化策略，进一步提升了新视角合成的质量。

技术框架：PFGS360主要包含两个核心模块：球形一致性感知位姿估计模块和深度内点感知稠密化模块。首先，球形一致性感知位姿估计模块利用高斯深度先验，在重建的高斯模型和无位姿图像之间建立一致的2D-3D对应关系，从而恢复相机位姿。然后，深度内点感知稠密化模块提取深度内点和高斯离群点，并利用一致的单目深度先验进行高斯稠密化，以提高新视角合成的逼真度。整个流程是迭代进行的，位姿估计和高斯优化交替进行，逐步提升重建质量。

关键创新：PFGS360的关键创新在于提出了无位姿的全景3D高斯溅射框架。与现有方法相比，它无需依赖SfM，而是直接从无位姿的全景视频中重建3D高斯模型。此外，深度内点感知的稠密化策略能够更有效地利用深度信息，提升新视角合成的质量。

关键设计：球形一致性感知位姿估计模块使用了一种基于球形投影的2D-3D对应关系建立方法，确保对应关系在全景图像上的全局一致性。深度内点感知稠密化模块使用了一种基于单目深度估计的深度内点/离群点判别方法，能够准确地识别出需要稠密化的区域。损失函数方面，可能采用了光度一致性损失、深度一致性损失等，以约束位姿估计和高斯优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PFGS360在真实和合成的360度视频上，显著优于现有的无位姿和有位姿的3DGS方法。具体性能数据未知，但摘要强调了“significant outperformance”，表明性能提升较为显著。该方法在重建质量和新视角合成逼真度方面均有提升。

🎯 应用场景

PFGS360在虚拟现实、增强现实、机器人导航、自动驾驶等领域具有广泛的应用前景。它可以用于快速构建真实场景的3D模型，为用户提供沉浸式的体验。此外，该方法还可以用于机器人导航和自动驾驶，帮助机器人理解周围环境，实现自主导航。

📄 摘要（原文）

Omnidirectional 3D Gaussian Splatting with panoramas is a key technique for 3D scene representation, and existing methods typically rely on slow SfM to provide camera poses and sparse points priors. In this work, we propose a pose-free omnidirectional 3DGS method, named PFGS360, that reconstructs 3D Gaussians from unposed omnidirectional videos. To achieve accurate camera pose estimation, we first construct a spherical consistency-aware pose estimation module, which recovers poses by establishing consistent 2D-3D correspondences between the reconstructed Gaussians and the unposed images using Gaussians' internal depth priors. Besides, to enhance the fidelity of novel view synthesis, we introduce a depth-inlier-aware densification module to extract depth inliers and Gaussian outliers with consistent monocular depth priors, enabling efficient Gaussian densification and achieving photorealistic novel view synthesis. The experiments show significant outperformance over existing pose-free and pose-aware 3DGS methods on both real-world and synthetic 360-degree videos. Code is available at https://github.com/zcq15/PFGS360.