LiDAR Registration with Visual Foundation Models

📄 arXiv: 2502.19374v1 📥 PDF

作者: Niclas Vödisch, Giovanni Cioffi, Marco Cannici, Wolfram Burgard, Davide Scaramuzza

分类: cs.RO

发布日期: 2025-02-26

💡 一句话要点

利用视觉基础模型DINOv2特征，实现鲁棒的LiDAR点云配准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LiDAR配准 视觉基础模型 DINOv2 点云描述子 机器人定位

📋 核心要点

  1. 现有LiDAR配准方法在领域偏移、季节变化和点云结构变化等场景下，难以找到鲁棒的点对应关系。
  2. 论文提出利用视觉基础模型DINOv2提取的图像特征作为点云的描述子，提升配准的鲁棒性。
  3. 实验表明，该方法在NCLT和Oxford RobotCar数据集上显著优于现有方法，配准召回率分别提升了24.8%和17.3%。

📝 摘要（中文）

LiDAR点云配准是机器人地图构建和定位中的一项基本任务。对齐两个点云的关键在于使用点描述子识别鲁棒的点对应关系。在涉及领域偏移、季节变化和点云结构变化的情况下，这一步骤尤其具有挑战性。这些因素会严重影响手工设计和基于学习的方法。本文提出使用从环视图像中获得的DINOv2特征作为点描述子来解决这些问题。我们证明，将这些描述子与传统的配准算法（如RANSAC或ICP）相结合，有助于实现LiDAR扫描与3D地图的鲁棒6DoF对齐，即使地图是在一年多以前记录的。虽然概念上很简单，但我们的方法明显优于更复杂的基线技术。与以往基于学习的点描述子相比，我们的方法不需要特定领域的重新训练，并且与点云结构无关，可以有效地处理稀疏LiDAR扫描和密集3D地图。我们表明，利用额外的相机数据使我们的方法在NCLT和Oxford RobotCar数据集上分别比最佳基线提高了+24.8和+17.3的配准召回率。我们公开发布了配准基准和我们的工作代码。

🔬 方法详解

问题定义：论文旨在解决LiDAR点云配准在复杂环境下的鲁棒性问题。现有方法，包括手工设计的特征和基于学习的特征，在面对领域偏移（domain shift）、季节变化以及点云结构差异时，性能会显著下降，导致配准失败。这些问题严重限制了机器人定位和地图构建的可靠性。

核心思路：论文的核心思路是利用视觉基础模型DINOv2提取的图像特征作为LiDAR点云的描述子。DINOv2在大量图像数据上进行预训练，学习到了丰富的视觉语义信息，因此具有很强的泛化能力和鲁棒性。通过将图像特征与LiDAR点云关联，可以有效地克服点云数据本身的局限性，提高配准的准确性和鲁棒性。

技术框架：该方法的整体框架包括以下几个主要步骤：1) 获取LiDAR点云和对应的环视图像；2) 使用DINOv2提取环视图像的特征；3) 将图像特征反投影到3D点云上，为每个点云赋予一个视觉描述子；4) 使用传统的配准算法（如RANSAC或ICP），基于视觉描述子寻找点云之间的对应关系；5) 通过优化算法，计算两个点云之间的变换矩阵，完成配准。

关键创新：该方法最重要的创新点在于将视觉基础模型DINOv2的特征引入到LiDAR点云配准中。与以往基于学习的点描述子相比，该方法不需要针对特定领域进行重新训练，具有更强的泛化能力。此外，该方法对点云结构不敏感，可以同时处理稀疏的LiDAR扫描和密集的3D地图。

关键设计：论文的关键设计在于如何将DINOv2提取的2D图像特征有效地关联到3D点云上。具体来说，作者利用相机内外参数将图像像素反投影到3D空间中，并将像素对应的DINOv2特征赋予该3D点。此外，作者还探索了不同的特征融合策略，例如将DINOv2特征与传统的点云特征相结合，以进一步提高配准的性能。损失函数方面，主要依赖RANSAC或ICP等传统配准算法的内置优化目标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在NCLT和Oxford RobotCar数据集上取得了显著的性能提升。在NCLT数据集上，该方法比最佳基线提高了24.8%的配准召回率；在Oxford RobotCar数据集上，该方法比最佳基线提高了17.3%的配准召回率。这些结果验证了该方法在复杂环境下LiDAR点云配准的有效性和鲁棒性。

🎯 应用场景

该研究成果可广泛应用于机器人定位、自动驾驶、三维重建等领域。尤其在需要长期运行和跨季节作业的机器人应用中，该方法能够提供更稳定可靠的定位和地图构建能力。未来，该方法有望进一步扩展到其他传感器融合场景，例如将视觉特征与雷达、惯性测量单元等传感器数据相结合，实现更精确的环境感知。

📄 摘要（原文）

LiDAR registration is a fundamental task in robotic mapping and localization. A critical component of aligning two point clouds is identifying robust point correspondences using point descriptors. This step becomes particularly challenging in scenarios involving domain shifts, seasonal changes, and variations in point cloud structures. These factors substantially impact both handcrafted and learning-based approaches. In this paper, we address these problems by proposing to use DINOv2 features, obtained from surround-view images, as point descriptors. We demonstrate that coupling these descriptors with traditional registration algorithms, such as RANSAC or ICP, facilitates robust 6DoF alignment of LiDAR scans with 3D maps, even when the map was recorded more than a year before. Although conceptually straightforward, our method substantially outperforms more complex baseline techniques. In contrast to previous learning-based point descriptors, our method does not require domain-specific retraining and is agnostic to the point cloud structure, effectively handling both sparse LiDAR scans and dense 3D maps. We show that leveraging the additional camera data enables our method to outperform the best baseline by +24.8 and +17.3 registration recall on the NCLT and Oxford RobotCar datasets. We publicly release the registration benchmark and the code of our work on https://vfm-registration.cs.uni-freiburg.de.