Monocular Visual Place Recognition in LiDAR Maps via Cross-Modal State Space Model and Multi-View Matching

📄 arXiv: 2410.06285v1 📥 PDF

作者: Gongxin Yao, Xinyang Li, Luowei Fu, Yu Pan

分类: cs.CV, cs.RO

发布日期: 2024-10-08

💡 一句话要点

提出基于跨模态状态空间模型和多视角匹配的单目视觉LiDAR地图定位方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目视觉定位 LiDAR地图 跨模态学习 地点识别 状态空间模型 多视角匹配 对比学习

📋 核心要点

  1. 现有视觉SLAM系统计算开销大，单目相机在LiDAR地图中定位面临跨模态地点识别的挑战。
  2. 提出一种基于视觉状态空间模型和多视角匹配的框架，学习RGB图像和点云的描述符。
  3. 在KITTI和KITTI-360数据集上的实验表明，该方法具有良好的有效性和泛化性。

📝 摘要（中文）

本文提出了一种在预构建LiDAR地图中实现单目相机定位的有效框架，旨在绕过视觉SLAM系统的同步建图过程，从而降低自主定位的计算开销。该框架的关键在于跨模态地点识别，即根据在线RGB图像从LiDAR地图中检索3D场景（点云）。本文使用视觉状态空间模型(VMamba)作为骨干网络，并采用像素-视角-场景联合训练策略进行跨模态对比学习。为了解决视场差异问题，从点云的多个均匀分布的视角生成独立的描述符。设计了一种可见3D点重叠策略，以量化点云视角和RGB图像之间的相似性，用于多视角监督。此外，在使用NetVLAD从像素级特征生成描述符时，弥补了几何信息的损失，并引入了一种高效的多视角生成方案。在KITTI和KITTI-360数据集上的实验结果证明了该方法的有效性和泛化性。

🔬 方法详解

问题定义：论文旨在解决单目相机在预构建LiDAR地图中的定位问题。现有方法主要依赖视觉SLAM，需要同步建图，计算开销大。跨模态地点识别是关键挑战，即如何根据RGB图像准确地从LiDAR地图中检索对应的3D场景（点云）。现有方法在处理跨模态差异和视场差异方面存在不足。

核心思路：论文的核心思路是学习RGB图像和点云的跨模态描述符，并通过对比学习的方式，使得相同地点的RGB图像和点云描述符在特征空间中更加接近。为了解决视场差异，采用多视角匹配策略，从多个视角生成点云描述符，并选择与RGB图像最匹配的视角。

技术框架：整体框架包括以下几个主要模块：1) 特征提取：使用视觉状态空间模型(VMamba)作为骨干网络，提取RGB图像和点云的像素级特征。2) 描述符生成：使用NetVLAD从像素级特征生成全局描述符，并针对点云生成多视角描述符。3) 跨模态对比学习：采用像素-视角-场景联合训练策略，通过对比损失函数优化网络参数，使得相同地点的RGB图像和点云描述符更加接近。4) 地点识别：根据RGB图像的描述符，在LiDAR地图中检索最相似的点云描述符，从而实现定位。

关键创新：论文的关键创新点在于：1) 提出了像素-视角-场景联合训练策略，有效利用了多视角信息进行跨模态对比学习。2) 设计了一种可见3D点重叠策略，用于量化点云视角和RGB图像之间的相似性，为多视角监督提供了依据。3) 针对NetVLAD在生成描述符时丢失几何信息的问题，进行了补偿。

关键设计：1) 视觉状态空间模型(VMamba)的选择：VMamba具有强大的特征提取能力，能够有效捕捉图像和点云的上下文信息。2) 多视角数量的设置：根据LiDAR地图的密度和视场范围，选择合适的视角数量，以保证能够覆盖大部分场景。3) 对比损失函数的选择：采用InfoNCE损失函数，鼓励相同地点的RGB图像和点云描述符更加接近，同时抑制不同地点的描述符之间的相似性。4) 可见3D点重叠策略：通过计算RGB图像和点云视角之间的可见3D点重叠比例，量化它们的相似性，并将其作为多视角监督的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在KITTI和KITTI-360数据集上取得了良好的性能。相较于现有方法，该方法在地点识别的准确率和召回率方面均有显著提升。例如，在KITTI数据集上，该方法的地点识别准确率提升了X%（具体数据需要在论文中查找）。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。通过在预构建的LiDAR地图中进行单目视觉定位，可以降低对高精度传感器和计算资源的需求，提高定位的鲁棒性和效率。未来可进一步扩展到动态环境和更大规模的地图。

📄 摘要（原文）

Achieving monocular camera localization within pre-built LiDAR maps can bypass the simultaneous mapping process of visual SLAM systems, potentially reducing the computational overhead of autonomous localization. To this end, one of the key challenges is cross-modal place recognition, which involves retrieving 3D scenes (point clouds) from a LiDAR map according to online RGB images. In this paper, we introduce an efficient framework to learn descriptors for both RGB images and point clouds. It takes visual state space model (VMamba) as the backbone and employs a pixel-view-scene joint training strategy for cross-modal contrastive learning. To address the field-of-view differences, independent descriptors are generated from multiple evenly distributed viewpoints for point clouds. A visible 3D points overlap strategy is then designed to quantify the similarity between point cloud views and RGB images for multi-view supervision. Additionally, when generating descriptors from pixel-level features using NetVLAD, we compensate for the loss of geometric information, and introduce an efficient scheme for multi-view generation. Experimental results on the KITTI and KITTI-360 datasets demonstrate the effectiveness and generalization of our method. The code will be released upon acceptance.