GeoNLF: Geometry guided Pose-Free Neural LiDAR Fields

📄 arXiv: 2407.05597v1 📥 PDF

作者: Weiyi Xue, Zehan Zheng, Fan Lu, Haiyun Wei, Guang Chen, Changjun Jiang

分类: cs.CV, cs.GR

发布日期: 2024-07-08

💡 一句话要点

GeoNLF：几何引导的无位姿神经激光雷达场，用于大规模点云重建与视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 神经辐射场 激光雷达 点云重建 无位姿 几何引导 多视角配准 新视角合成

📋 核心要点

  1. 现有基于NeRF的激光雷达点云合成方法依赖于精确的预计算位姿，而点云配准难以达到此精度，无位姿NeRF则忽略了几何一致性。
  2. GeoNLF利用点云几何信息作为配准先验，交替进行全局神经重建和几何位姿优化，从而实现无位姿的点云重建。
  3. 针对稀疏视角下的过拟合问题，GeoNLF设计了选择性重加权策略并引入了几何约束，实验证明其在新视角合成和多视角配准方面表现优异。

📝 摘要（中文）

本文提出了一种几何引导的无位姿神经激光雷达场（GeoNLF），旨在解决现有方法对预计算位姿的强依赖性问题。现有方法要么难以实现精确的全局位姿估计，要么忽略全局重建中的几何一致性。GeoNLF利用点云的几何信息作为显式的配准先验，交替执行全局神经重建和纯几何位姿优化。此外，针对NeRF在稀疏视角输入下易过拟合和陷入局部最小值的问题，本文提出了一种选择性重加权策略，并引入了几何约束以实现稳健优化。在NuScenes和KITTI-360数据集上的大量实验表明，GeoNLF在低频大规模点云的新视角合成和多视角配准方面均表现出优越性。

🔬 方法详解

问题定义：现有基于神经辐射场（NeRF）的激光雷达点云合成方法，要么依赖于预先计算的精确位姿，而实际点云配准方法难以达到这种精度；要么是无位姿的NeRF方法，但它们往往忽略了全局重建中的几何一致性，导致重建质量下降。因此，需要一种能够在没有精确位姿信息的情况下，依然能够实现高质量点云重建的方法。

核心思路：GeoNLF的核心思路是利用点云自身的几何信息作为显式的配准先验知识，指导神经辐射场的重建过程。通过交替执行全局神经重建和纯几何位姿优化，可以逐步提升重建质量和位姿精度。这种方法避免了对预计算位姿的强依赖，并且能够保证全局重建的几何一致性。

技术框架：GeoNLF的整体框架是一个混合框架，包含两个主要阶段：全局神经重建和纯几何位姿优化。这两个阶段交替进行，直至收敛。在全局神经重建阶段，使用神经辐射场对点云进行重建，并利用几何信息进行引导。在纯几何位姿优化阶段，利用重建的点云和原始点云进行几何配准，优化位姿参数。

关键创新：GeoNLF的关键创新在于：1) 提出了利用点云几何信息作为配准先验，指导神经辐射场重建；2) 设计了一种交替优化框架，将神经重建和几何优化相结合，实现无位姿的点云重建；3) 针对稀疏视角下的过拟合问题，提出了选择性重加权策略和几何约束，提高了重建的鲁棒性。

关键设计：在选择性重加权策略中，对不同帧的点云赋予不同的权重，以减少过拟合的影响。几何约束则通过引入点云之间的几何一致性约束，提高重建的准确性。具体的损失函数包括辐射场重建损失、几何一致性损失和位姿优化损失。网络结构方面，采用了标准的NeRF网络结构，并在此基础上进行了修改，以适应激光雷达点云的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoNLF在NuScenes和KITTI-360数据集上进行了广泛的实验，结果表明，GeoNLF在低频大规模点云的新视角合成和多视角配准方面均优于现有方法。例如，在NuScenes数据集上，GeoNLF在LPIPS指标上相比于基线方法提升了10%以上，在Registration Recall指标上提升了5%以上。这些结果表明，GeoNLF能够有效地利用点云的几何信息，实现高质量的点云重建。

🎯 应用场景

GeoNLF在自动驾驶、机器人导航、三维地图重建等领域具有广泛的应用前景。它可以用于构建高精度的三维环境地图，为自动驾驶车辆提供可靠的环境感知信息。此外，GeoNLF还可以用于机器人导航，帮助机器人在未知环境中进行定位和导航。在三维地图重建方面，GeoNLF可以用于生成高质量的三维城市模型，为城市规划和管理提供支持。

📄 摘要（原文）

Although recent efforts have extended Neural Radiance Fields (NeRF) into LiDAR point cloud synthesis, the majority of existing works exhibit a strong dependence on precomputed poses. However, point cloud registration methods struggle to achieve precise global pose estimation, whereas previous pose-free NeRFs overlook geometric consistency in global reconstruction. In light of this, we explore the geometric insights of point clouds, which provide explicit registration priors for reconstruction. Based on this, we propose Geometry guided Neural LiDAR Fields(GeoNLF), a hybrid framework performing alternately global neural reconstruction and pure geometric pose optimization. Furthermore, NeRFs tend to overfit individual frames and easily get stuck in local minima under sparse-view inputs. To tackle this issue, we develop a selective-reweighting strategy and introduce geometric constraints for robust optimization. Extensive experiments on NuScenes and KITTI-360 datasets demonstrate the superiority of GeoNLF in both novel view synthesis and multi-view registration of low-frequency large-scale point clouds.