PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction

📄 arXiv: 2310.07449v3 📥 PDF

作者: Jia-Wang Bian, Wenjing Bian, Victor Adrian Prisacariu, Philip Torr

分类: cs.CV

发布日期: 2023-10-11 (更新: 2024-03-12)

备注: Accepted to ICLR 2024. Find the project page at https://porf.active.vision/

💡 一句话要点

提出Pose Residual Field以解决神经表面重建中的姿态噪声问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经表面重建 姿态估计 多层感知机 极几何损失 计算机视觉 三维重建 鲁棒性 深度学习

📋 核心要点

  1. 现有的神经表面重建方法对相机姿态噪声敏感，尤其是在复杂的现实场景中，Pose-NeRF联合优化方法难以提高姿态准确性。
  2. 本文提出姿态残差场（PoRF），利用多层感知机回归姿态更新，增强了对全序列的全局信息利用，提升了鲁棒性。
  3. 在DTU数据集上，旋转误差降低78%，Chamfer距离显著减少；在MobileBrick数据集上，F1分数从69.18提升至75.67，超越真实姿态。

📝 摘要（中文）

神经表面重建对相机姿态噪声非常敏感，即使使用COLMAP或ARKit等先进的姿态估计器。现有的Pose-NeRF联合优化方法在复杂的现实场景中难以提高姿态准确性。为此，本文提出了一种新颖的隐式表示——姿态残差场（PoRF），利用多层感知机（MLP）回归姿态更新，较传统的姿态参数优化方法更具鲁棒性。此外，我们提出了一种利用COLMAP结果导出的对应关系的极几何损失，以增强监督，且没有额外的计算开销。实验结果表明，在DTU数据集上，我们将COLMAP姿态的旋转误差降低了78%，重建的Chamfer距离从3.48mm降至0.85mm。在包含随意捕获的无界360度视频的MobileBrick数据集上，我们改进了ARKit姿态，使重建的F1分数从69.18提升至75.67，超越了提供的真实姿态（75.14）。这些成果展示了我们的方法在真实场景中优化相机姿态和提高神经表面重建准确性的有效性。

🔬 方法详解

问题定义：本文旨在解决神经表面重建中由于相机姿态噪声导致的重建精度下降问题。现有方法在复杂场景中难以有效提高姿态准确性，限制了重建质量。

核心思路：提出姿态残差场（PoRF），通过多层感知机（MLP）回归姿态更新，利用全局信息共享来增强鲁棒性，克服传统姿态参数优化的局限。

技术框架：整体架构包括姿态残差场的构建、姿态更新的回归过程以及极几何损失的计算。通过这些模块的协同工作，提升了重建的准确性。

关键创新：最重要的创新在于引入姿态残差场（PoRF），通过全局信息共享提高了姿态更新的鲁棒性，与现有方法相比，显著改善了姿态估计的准确性。

关键设计：采用极几何损失函数来增强监督，利用COLMAP结果导出的对应关系，避免了额外的计算开销。网络结构上，使用多层感知机进行姿态更新回归，确保了模型的灵活性与适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在DTU数据集上，使用COLMAP姿态时，旋转误差降低了78%，Chamfer距离从3.48mm降至0.85mm；在MobileBrick数据集上，F1分数从69.18提升至75.67，超越了提供的真实姿态（75.14），展示了方法的有效性与优势。

🎯 应用场景

该研究在计算机视觉和机器人领域具有广泛的应用潜力，尤其是在需要高精度三维重建的场景，如虚拟现实、增强现实和自动驾驶等。通过优化相机姿态，能够显著提高重建质量，推动相关技术的发展与应用。

📄 摘要（原文）

Neural surface reconstruction is sensitive to the camera pose noise, even if state-of-the-art pose estimators like COLMAP or ARKit are used. More importantly, existing Pose-NeRF joint optimisation methods have struggled to improve pose accuracy in challenging real-world scenarios. To overcome the challenges, we introduce the pose residual field (PoRF), a novel implicit representation that uses an MLP for regressing pose updates. This is more robust than the conventional pose parameter optimisation due to parameter sharing that leverages global information over the entire sequence. Furthermore, we propose an epipolar geometry loss to enhance the supervision that leverages the correspondences exported from COLMAP results without the extra computational overhead. Our method yields promising results. On the DTU dataset, we reduce the rotation error by 78\% for COLMAP poses, leading to the decreased reconstruction Chamfer distance from 3.48mm to 0.85mm. On the MobileBrick dataset that contains casually captured unbounded 360-degree videos, our method refines ARKit poses and improves the reconstruction F1 score from 69.18 to 75.67, outperforming that with the dataset provided ground-truth pose (75.14). These achievements demonstrate the efficacy of our approach in refining camera poses and improving the accuracy of neural surface reconstruction in real-world scenarios.