Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization

📄 arXiv: 2410.08743v1 📥 PDF

作者: Christian Schmidt, Jens Piekenbrinck, Bastian Leibe

分类: cs.CV

发布日期: 2024-10-11

备注: Accepted in IROS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出NoPoseGS，无需精确位姿初始化即可实现高精度新视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 3D高斯溅射 相机位姿估计 光度优化 联合优化

📋 核心要点

  1. 现有新视角合成方法依赖精确相机位姿，限制了其在难以获取精确位姿的真实场景中的应用。
  2. 本文提出NoPoseGS，通过光度残差优化相机外参，实现几何与相机位姿的联合优化。
  3. 实验表明，NoPoseGS在真实场景中能快速收敛并实现高精度位姿估计，且新视角合成效果优于现有方法。

📝 摘要（中文）

本文提出了一种3D高斯溅射框架的扩展，通过优化光度残差来优化相机外参，从而实现无需精确相机位姿信息的新视角合成。我们推导了解析梯度，并将其计算集成到现有的高性能CUDA实现中。这使得下游任务，如6自由度相机位姿估计以及联合重建和相机优化成为可能。特别是在真实场景中，我们的方法实现了快速收敛和高精度的位姿估计。通过联合优化几何体和相机位姿，我们的方法能够在不需要精确位姿信息的情况下快速重建3D场景，同时在新视角合成中实现最先进的结果。我们的方法比大多数竞争方法优化速度更快，渲染速度也快几倍。我们在真实场景和模拟环境中的复杂轨迹上展示了结果，在LLFF上实现了最先进的结果，同时与最有效的竞争方法相比，运行时间减少了2到4倍。源代码将在https://github.com/Schmiddo/noposegs上提供。

🔬 方法详解

问题定义：现有新视角合成方法严重依赖精确的相机位姿信息，但在许多实际应用场景中，获取精确的相机位姿信息非常困难甚至不可能。这限制了这些方法在真实世界场景中的应用。

核心思路：本文的核心思路是联合优化3D高斯溅射的几何表示和相机外参。通过直接优化光度残差，使得相机位姿能够从粗略的初始估计值逐渐收敛到精确值，从而避免了对精确相机位姿信息的依赖。

技术框架：NoPoseGS在3D高斯溅射的基础上，增加了一个相机位姿优化模块。整体流程如下：1) 使用粗略的相机位姿初始化3D高斯溅射；2) 使用渲染图像与输入图像之间的光度残差作为损失函数；3) 通过反向传播，同时优化3D高斯溅射的参数和相机外参；4) 重复步骤2和3，直到收敛。

关键创新：最重要的创新点在于能够同时优化几何表示和相机位姿，从而摆脱了对精确相机位姿信息的依赖。此外，本文推导了解析梯度，并将其集成到现有的高性能CUDA实现中，从而实现了快速的优化。

关键设计：关键设计包括：1) 使用光度残差作为损失函数，直接驱动相机位姿的优化；2) 推导解析梯度，加速优化过程；3) 将相机位姿优化集成到现有的3D高斯溅射框架中，充分利用了其高效的渲染能力。损失函数具体形式未知，但应与渲染图像和输入图像的像素差异相关。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NoPoseGS在LLFF数据集上取得了state-of-the-art的结果，并且优化速度比现有方法快2-4倍。该方法在真实场景中实现了快速收敛和高精度的位姿估计，证明了其在实际应用中的有效性。具体性能数据未知，但强调了速度和精度方面的优势。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。在这些领域中，精确的相机位姿估计至关重要，但往往难以获取。NoPoseGS提供了一种无需精确位姿初始化即可实现高精度场景重建和新视角合成的解决方案，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

3D Gaussian Splatting has recently emerged as a powerful tool for fast and accurate novel-view synthesis from a set of posed input images. However, like most novel-view synthesis approaches, it relies on accurate camera pose information, limiting its applicability in real-world scenarios where acquiring accurate camera poses can be challenging or even impossible. We propose an extension to the 3D Gaussian Splatting framework by optimizing the extrinsic camera parameters with respect to photometric residuals. We derive the analytical gradients and integrate their computation with the existing high-performance CUDA implementation. This enables downstream tasks such as 6-DoF camera pose estimation as well as joint reconstruction and camera refinement. In particular, we achieve rapid convergence and high accuracy for pose estimation on real-world scenes. Our method enables fast reconstruction of 3D scenes without requiring accurate pose information by jointly optimizing geometry and camera poses, while achieving state-of-the-art results in novel-view synthesis. Our approach is considerably faster to optimize than most competing methods, and several times faster in rendering. We show results on real-world scenes and complex trajectories through simulated environments, achieving state-of-the-art results on LLFF while reducing runtime by two to four times compared to the most efficient competing method. Source code will be available at https://github.com/Schmiddo/noposegs .