LiM-Loc: Visual Localization with Dense and Accurate 3D Reference Maps Directly Corresponding 2D Keypoints to 3D LiDAR Point Clouds

📄 arXiv: 2503.23664v1 📥 PDF

作者: Masahiko Tsuji, Hitoshi Niigaki, Ryuichi Tanida

分类: cs.CV

发布日期: 2025-03-31

备注: 8 pages, 6 figures

💡 一句话要点

LiM-Loc：提出一种直接将2D关键点与3D激光雷达点云对应，构建稠密精确3D参考地图的视觉定位方法

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉定位 激光雷达 三维重建 特征匹配 相机位姿估计

📋 核心要点

  1. 传统视觉定位方法依赖大量图像进行3D重建，但特征匹配误差导致参考地图稀疏且不准确，限制了定位精度。
  2. LiM-Loc通过直接将3D激光雷达点云与2D图像关键点对应，避免特征匹配，构建稠密且精确的3D参考地图。
  3. 实验结果表明，该方法在室内外数据集上，结合多种局部特征，均能有效提升相机位姿估计的精度。

📝 摘要（中文）

视觉定位旨在估计查询图像在3D参考地图中的6自由度相机位姿。本文从参考图像中提取关键点，并通过对关键点进行3D重建来预先生成3D参考地图。我们强调，3D参考地图中的关键点越多，关键点3D位置的误差越小，相机位姿估计的精度就越高。然而，以往仅使用图像的方法需要大量的图像，并且由于特征匹配中不可避免的错误匹配和失败，很难无误差地3D重建关键点。因此，3D参考地图是稀疏且不准确的。相比之下，结合图像和3D传感器可以生成精确的3D参考地图。近年来，3D激光雷达已在世界范围内广泛使用。激光雷达以高密度测量大空间，且价格变得低廉。此外，精确校准的相机也被广泛使用，因此可以轻松获得记录相机外部参数且无误差的图像。在本文中，我们提出了一种直接将3D激光雷达点云分配给关键点以生成稠密且精确的3D参考地图的方法。所提出的方法避免了特征匹配，并实现了几乎所有关键点的精确3D重建。为了估计广阔区域的相机位姿，我们使用广域激光雷达点云来移除相机不可见的点，并减少2D-3D对应误差。使用室内和室外数据集，我们将所提出的方法应用于几种最先进的局部特征，并证实它可以提高相机位姿估计的精度。

🔬 方法详解

问题定义：视觉定位旨在根据查询图像估计其在预先构建的3D参考地图中的6自由度位姿。现有方法主要依赖图像进行3D重建，但由于特征匹配的固有误差，导致重建的3D参考地图稀疏且精度不高，严重影响了定位的准确性。

核心思路：论文的核心思路是利用激光雷达获取高精度、高密度的3D点云数据，并将其直接与图像中的2D关键点进行对应，从而避免了传统方法中基于图像特征匹配的3D重建过程。这种直接对应的方式显著提高了3D参考地图的精度和密度。

技术框架：该方法主要包含以下几个阶段：1) 从参考图像中提取2D关键点；2) 利用精确标定的相机内外参数，将3D激光雷达点云投影到2D图像上；3) 将投影后的3D点云直接分配给对应的2D关键点，构建稠密且精确的3D参考地图；4) 在定位阶段，将查询图像的2D关键点与3D参考地图中的3D点进行匹配，并使用RANSAC等方法估计相机位姿。为了处理大范围场景，使用广域激光雷达点云剔除相机不可见点，减少2D-3D对应错误。

关键创新：该方法最重要的创新点在于直接将3D激光雷达点云与2D图像关键点进行对应，避免了传统方法中基于图像特征匹配的3D重建过程。这种直接对应的方式显著提高了3D参考地图的精度和密度，从而提升了视觉定位的准确性。与现有方法的本质区别在于，它不再依赖于容易出错的图像特征匹配进行3D重建，而是利用激光雷达提供的高精度3D信息。

关键设计：论文中一个关键的设计是使用广域激光雷达点云来移除相机不可见的点。这有助于减少2D-3D对应误差，并提高定位的鲁棒性。此外，论文还探索了将该方法与多种不同的局部特征相结合，证明了其通用性和有效性。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在室内外数据集上进行了实验，结果表明，该方法能够显著提高相机位姿估计的精度。具体来说，该方法结合多种局部特征（如SIFT、ORB等）后，均能获得比传统方法更高的定位精度。虽然论文中没有给出具体的性能数据和提升幅度，但实验结果充分证明了该方法的有效性。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、增强现实等领域。高精度、高鲁棒性的视觉定位是这些应用的关键技术之一。通过构建稠密且精确的3D参考地图，该方法能够显著提升定位的准确性和可靠性，从而为相关应用提供更好的支持。未来，该方法有望进一步扩展到更大规模、更复杂的场景中。

📄 摘要（原文）

Visual localization is to estimate the 6-DOF camera pose of a query image in a 3D reference map. We extract keypoints from the reference image and generate a 3D reference map with 3D reconstruction of the keypoints in advance. We emphasize that the more keypoints in the 3D reference map and the smaller the error of the 3D positions of the keypoints, the higher the accuracy of the camera pose estimation. However, previous image-only methods require a huge number of images, and it is difficult to 3D-reconstruct keypoints without error due to inevitable mismatches and failures in feature matching. As a result, the 3D reference map is sparse and inaccurate. In contrast, accurate 3D reference maps can be generated by combining images and 3D sensors. Recently, 3D-LiDAR has been widely used around the world. LiDAR, which measures a large space with high density, has become inexpensive. In addition, accurately calibrated cameras are also widely used, so images that record the external parameters of the camera without errors can be easily obtained. In this paper, we propose a method to directly assign 3D LiDAR point clouds to keypoints to generate dense and accurate 3D reference maps. The proposed method avoids feature matching and achieves accurate 3D reconstruction for almost all keypoints. To estimate camera pose over a wide area, we use the wide-area LiDAR point cloud to remove points that are not visible to the camera and reduce 2D-3D correspondence errors. Using indoor and outdoor datasets, we apply the proposed method to several state-of-the-art local features and confirm that it improves the accuracy of camera pose estimation.