SHeRLoc: Synchronized Heterogeneous Radar Place Recognition for Cross-Modal Localization

📄 arXiv: 2506.15175v2 📥 PDF

作者: Hanjun Kim, Minwoo Jung, Wooseong Yang, Ayoung Kim

分类: cs.RO

发布日期: 2025-06-18 (更新: 2025-10-10)

备注: 9 pages, 9 figures, accepted to RA-L

💡 一句话要点

提出SHeRLoc以解决异构雷达跨模态定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异构雷达 跨模态定位 深度学习 特征聚合 SLAM 位置识别 多模态融合

📋 核心要点

  1. 现有研究主要集中在同质传感器，导致异构雷达数据的泛化能力不足，未能有效利用不同模态的互补优势。
  2. 提出SHeRLoc，利用RCS极化匹配对多模态雷达数据进行对齐，并通过层次最优传输聚合特征，生成鲁棒的描述符。
  3. SHeRLoc在公共数据集上实现了recall@1从0.1提升至0.9，显著超越了现有方法，展示了其在异构雷达识别中的有效性。

📝 摘要（中文）

尽管雷达在机器人领域的应用日益增加，但大多数研究仍局限于同质传感器类型，忽视了异构雷达技术中的集成与跨模态挑战。这导致在不同雷达数据类型之间的泛化能力显著不足，而利用异构雷达互补优势的模态感知方法尚未得到探索。为此，本文提出了SHeRLoc，这是首个针对异构雷达设计的深度网络，利用RCS极化匹配对多模态雷达数据进行对齐。通过采用基于层次最优传输的特征聚合方法，生成旋转鲁棒的多尺度描述符。SHeRLoc通过FFT相似性数据挖掘和自适应边际三元组损失，实现了视场感知的度量学习。SHeRLoc在异构雷达位置识别上取得了数量级的提升，公共数据集上的recall@1从0.1提升至0.9，超越了现有最先进的方法。该方法同样适用于LiDAR，为跨模态位置识别和异构传感器SLAM铺平了道路。

🔬 方法详解

问题定义：本文旨在解决异构雷达在位置识别中的跨模态挑战。现有方法多集中于同质传感器，导致在不同雷达数据类型间的泛化能力不足，无法有效整合多模态信息。

核心思路：SHeRLoc通过RCS极化匹配对多模态雷达数据进行对齐，利用层次最优传输方法聚合特征，生成旋转鲁棒的多尺度描述符，以增强模型的识别能力。

技术框架：SHeRLoc的整体架构包括数据对齐模块、特征聚合模块和度量学习模块。数据对齐模块负责将不同模态的雷达数据进行匹配，特征聚合模块则通过最优传输方法生成多尺度描述符，最后度量学习模块利用自适应边际三元组损失进行训练。

关键创新：SHeRLoc的主要创新在于首次将层次最优传输应用于异构雷达数据的特征聚合，显著提高了多模态数据的识别性能，克服了传统方法的局限性。

关键设计：在损失函数设计上，采用自适应边际三元组损失，以增强模型对不同模态数据的学习能力。此外，使用FFT相似性进行数据挖掘，提升了特征匹配的效率和准确性。

📊 实验亮点

SHeRLoc在异构雷达位置识别任务中表现出色，recall@1从0.1提升至0.9，提升幅度达到900%，显著超越了现有最先进的方法。这一成果展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括智能交通、无人驾驶、机器人导航等，能够有效提升异构传感器在复杂环境中的定位精度与可靠性。未来，SHeRLoc有望推动跨模态识别技术的发展，促进多种传感器的协同工作，提升智能系统的整体性能。

📄 摘要（原文）

Despite the growing adoption of radar in robotics, the majority of research has been confined to homogeneous sensor types, overlooking the integration and cross-modality challenges inherent in heterogeneous radar technologies. This leads to significant difficulties in generalizing across diverse radar data types, with modality-aware approaches that could leverage the complementary strengths of heterogeneous radar remaining unexplored. To bridge these gaps, we propose SHeRLoc, the first deep network tailored for heterogeneous radar, which utilizes RCS polar matching to align multimodal radar data. Our hierarchical optimal transport-based feature aggregation method generates rotationally robust multi-scale descriptors. By employing FFT-similarity-based data mining and adaptive margin-based triplet loss, SHeRLoc enables FOV-aware metric learning. SHeRLoc achieves an order of magnitude improvement in heterogeneous radar place recognition, increasing recall@1 from below 0.1 to 0.9 on a public dataset and outperforming state of-the-art methods. Also applicable to LiDAR, SHeRLoc paves the way for cross-modal place recognition and heterogeneous sensor SLAM. The supplementary materials and source code are available at https://sites.google.com/view/radar-sherloc.