TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization

📄 arXiv: 2405.07027v2 📥 PDF

作者: Zhen Tan, Zongtan Zhou, Yangbing Ge, Zi Wang, Xieyuanli Chen, Dewen Hu

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-05-11 (更新: 2024-10-07)

🔗 代码/项目: GITHUB

💡 一句话要点

TD-NeRF：提出截断深度先验，用于联合优化相机位姿和神经辐射场

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 相机位姿估计 三维重建 深度先验 联合优化

📋 核心要点

  1. 现有NeRF方法依赖精确的相机位姿，限制了其在3D重建和SLAM中的应用，而单目深度先验利用不足且易受噪声影响。
  2. TD-NeRF通过截断深度先验，结合新的射线采样策略、由粗到精的训练策略和鲁棒的帧间约束，实现相机位姿和NeRF的联合优化。
  3. 实验表明，TD-NeRF在联合优化相机位姿和NeRF方面表现优异，超越了现有方法，并生成了更精确的深度几何结构。

📝 摘要（中文）

神经辐射场（NeRF）模型在3D重建和SLAM任务中的广泛应用受到相机位姿精度的限制。现有方法引入单目深度先验来联合优化相机位姿和NeRF，但未能充分利用深度先验，并忽略了其固有噪声的影响。本文提出了截断深度NeRF（TD-NeRF），一种从未知相机位姿训练NeRF的新方法，通过联合优化辐射场的学习参数和相机位姿实现。我们的方法通过三个关键改进显式地利用单目深度先验：1）提出了一种基于截断正态分布的基于深度信息的射线采样策略，提高了位姿估计的收敛速度和精度；2）为了避免局部最小值并细化深度几何，我们引入了一种由粗到精的训练策略，逐步提高深度精度；3）我们提出了一种更鲁棒的帧间点约束，增强了训练过程中对深度噪声的鲁棒性。在三个数据集上的实验结果表明，TD-NeRF在相机位姿和NeRF的联合优化方面优于现有方法，并生成了更精确的深度几何。

🔬 方法详解

问题定义：现有NeRF方法严重依赖精确的相机位姿，这限制了其在实际场景中的应用，尤其是在SLAM和3D重建等任务中。虽然一些方法尝试利用单目深度先验来联合优化相机位姿和NeRF，但它们未能充分利用深度先验信息，并且对深度估计中固有的噪声不够鲁棒，容易陷入局部最优解。

核心思路：TD-NeRF的核心思路是利用截断深度先验，通过一种新的射线采样策略、由粗到精的训练策略以及鲁棒的帧间约束，来更有效地利用单目深度信息，从而在未知相机位姿的情况下，联合优化相机位姿和神经辐射场。这种方法旨在提高位姿估计的精度和鲁棒性，并生成更准确的深度几何结构。

技术框架：TD-NeRF的整体框架包含以下几个主要阶段：首先，利用单目深度估计器获得深度先验信息。然后，基于截断正态分布的深度信息进行射线采样，以提高采样效率和准确性。接着，采用由粗到精的训练策略，逐步提高深度精度，避免陷入局部最小值。最后，通过鲁棒的帧间点约束，增强模型对深度噪声的鲁棒性。整个框架通过联合优化相机位姿和神经辐射场的参数，实现高质量的3D重建。

关键创新：TD-NeRF的关键创新在于以下三个方面：1) 提出了一种基于截断正态分布的深度射线采样策略，能够更有效地利用深度先验信息，提高位姿估计的收敛速度和精度。2) 引入了一种由粗到精的训练策略，通过逐步提高深度精度，避免了局部最小值问题，并细化了深度几何结构。3) 提出了一种更鲁棒的帧间点约束，增强了模型对深度噪声的鲁棒性，提高了训练的稳定性。

关键设计：TD-NeRF的关键设计包括：1) 截断正态分布的参数设置，用于控制射线采样的范围和概率分布。2) 由粗到精训练策略中，深度精度的逐步提升方案，例如逐渐减小深度误差的容忍度。3) 鲁棒帧间点约束的具体形式，例如使用Huber损失函数来降低噪声的影响。4) NeRF网络的结构和损失函数，例如使用MLP网络结构和光度一致性损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TD-NeRF在三个数据集上进行了实验，结果表明，该方法在相机位姿和NeRF的联合优化方面优于现有方法。具体来说，TD-NeRF在位姿估计精度和深度几何重建质量方面都取得了显著提升，尤其是在深度噪声较大的情况下，TD-NeRF的鲁棒性更强。实验结果验证了TD-NeRF的有效性和优越性。

🎯 应用场景

TD-NeRF在机器人导航、增强现实、虚拟现实、三维重建等领域具有广泛的应用前景。该方法可以用于在未知相机位姿的情况下进行场景重建，为机器人提供更准确的环境感知，提升AR/VR应用的沉浸感，并为三维建模提供更高效的解决方案。未来，该技术有望应用于自动驾驶、智能家居等领域。

📄 摘要（原文）

The reliance on accurate camera poses is a significant barrier to the widespread deployment of Neural Radiance Fields (NeRF) models for 3D reconstruction and SLAM tasks. The existing method introduces monocular depth priors to jointly optimize the camera poses and NeRF, which fails to fully exploit the depth priors and neglects the impact of their inherent noise. In this paper, we propose Truncated Depth NeRF (TD-NeRF), a novel approach that enables training NeRF from unknown camera poses - by jointly optimizing learnable parameters of the radiance field and camera poses. Our approach explicitly utilizes monocular depth priors through three key advancements: 1) we propose a novel depth-based ray sampling strategy based on the truncated normal distribution, which improves the convergence speed and accuracy of pose estimation; 2) to circumvent local minima and refine depth geometry, we introduce a coarse-to-fine training strategy that progressively improves the depth precision; 3) we propose a more robust inter-frame point constraint that enhances robustness against depth noise during training. The experimental results on three datasets demonstrate that TD-NeRF achieves superior performance in the joint optimization of camera pose and NeRF, surpassing prior works, and generates more accurate depth geometry. The implementation of our method has been released at https://github.com/nubot-nudt/TD-NeRF.