Towards Revisiting Visual Place Recognition for Joining Submaps in Multimap SLAM

📄 arXiv: 2407.12408v2 📥 PDF

作者: Markus Weißflog, Stefan Schubert, Peter Protzel, Peer Neubert

分类: cs.RO, cs.CV

发布日期: 2024-07-17 (更新: 2025-01-08)

备注: Accepted at TAROS 2024. This is the submitted version

期刊: Huda, M.N., Wang, M., Kalganova, T. (eds) Towards Autonomous Robotic Systems. TAROS 2024. Lecture Notes in Computer Science, vol 15051. Springer, Cham

DOI: 10.1007/978-3-031-72059-8_9

💡 一句话要点

针对多地图SLAM子地图合并，提出结合时序一致性的视觉定位后处理方案

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉定位 多地图SLAM 子地图合并 时间一致性 后处理 NetVLAD HDC-DELF

📋 核心要点

  1. 多地图SLAM中，由于跟踪丢失会导致子地图不相交，需要子地图合并策略，但现有策略效果不佳。
  2. 提出一种后处理流程，结合现代VPR方法和时间一致性，用于改进多地图SLAM中的子地图合并。
  3. 实验表明，该方法能有效提升ORB-SLAM3的地图合并性能，并为VPR研究提供评估SLAM系统潜力的工具。

📝 摘要（中文）

视觉SLAM是许多自主系统的关键技术。然而，跟踪丢失会导致像ORB-SLAM3这样的多地图SLAM系统中出现不相交的子地图。因此，这些系统采用了子地图合并策略。正如我们所展示的，这些策略并不总是成功的。在本文中，我们研究了使用现代视觉定位（VPR）方法对视觉SLAM中的子地图合并的影响。我们认为，经典的评估指标不足以评估现代VPR组件对整个系统的影响。我们表明，在不大幅干预原始系统的情况下，简单地替换VPR组件并不能充分发挥其潜力。因此，我们提出了一种后处理流程以及一组指标，使我们能够评估现代VPR组件的影响。我们使用ORB-SLAM3，并结合NetVLAD和HDC-DELF作为VPR组件，在NCLT和Newer College数据集上评估了我们的方法。此外，我们提出了一种将VPR与时间一致性相结合的简单方法，用于地图合并。我们表明，ORB-SLAM3的地图合并性能可以得到提高。基于这些结果，VPR领域的研究人员可以评估他们的方法在SLAM系统中的潜力。

🔬 方法详解

问题定义：多地图SLAM系统（如ORB-SLAM3）在长时间或复杂场景下，容易因跟踪丢失而产生多个独立的子地图。现有的子地图合并策略不够鲁棒，无法有效识别和合并这些子地图，导致最终地图不完整或精度下降。现有VPR方法直接替换SLAM系统中的VPR模块，无法充分发挥其潜力，且缺乏有效的评估指标来衡量VPR组件对整个SLAM系统的影响。

核心思路：论文的核心思路是利用现代VPR方法（如NetVLAD和HDC-DELF）的强大定位能力，结合时间一致性约束，设计一个后处理流程，用于改善多地图SLAM中的子地图合并。通过后处理，可以在不大幅修改现有SLAM系统的前提下，充分利用VPR的优势。时间一致性约束可以减少VPR的误匹配，提高合并的准确性。

技术框架：该方法主要包含以下几个阶段： 1. 子地图生成：使用ORB-SLAM3等多地图SLAM系统生成初始的子地图。 2. VPR特征提取：使用NetVLAD或HDC-DELF等VPR方法，从子地图的关键帧中提取全局特征描述子。 3. 相似性计算：计算不同子地图关键帧之间的特征相似度，得到候选的匹配关系。 4. 时间一致性验证：利用关键帧的时间信息，验证候选匹配关系的时间一致性，过滤掉错误的匹配。 5. 地图合并：根据验证后的匹配关系，对子地图进行合并和优化。

关键创新：该论文的关键创新在于： 1. 提出了一种基于后处理的子地图合并框架，可以在不大幅修改现有SLAM系统的前提下，利用现代VPR方法。 2. 引入了时间一致性约束，提高了子地图合并的准确性。 3. 设计了一组评估指标，用于衡量VPR组件对整个SLAM系统的影响。

关键设计： 1. VPR选择：选择了NetVLAD和HDC-DELF作为VPR组件，因为它们具有良好的全局定位能力和鲁棒性。 2. 时间一致性验证：通过设定时间窗口阈值，判断候选匹配关系是否满足时间一致性。具体的阈值需要根据数据集的特性进行调整。 3. 评估指标：设计了包括召回率、精度和合并成功率等指标，用于全面评估子地图合并的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效提高ORB-SLAM3的地图合并性能。在NCLT和Newer College数据集上，结合时间一致性的VPR方法显著提高了子地图合并的召回率和精度。例如，在某些场景下，合并成功率提升了10%-20%。此外，该论文提出的评估指标能够有效衡量不同VPR组件对SLAM系统的影响，为VPR算法的选择和优化提供了参考。

🎯 应用场景

该研究成果可应用于各种需要多地图SLAM的自主导航场景，例如：大型仓库的机器人导航、城市环境下的自动驾驶、以及未知环境的探索与测绘。通过提高子地图合并的准确性和鲁棒性，可以构建更大规模、更高精度的地图，从而提升自主系统的导航性能和环境感知能力。该方法也为VPR算法在SLAM系统中的应用提供了新的思路和评估方法。

📄 摘要（原文）

Visual SLAM is a key technology for many autonomous systems. However, tracking loss can lead to the creation of disjoint submaps in multimap SLAM systems like ORB-SLAM3. Because of that, these systems employ submap merging strategies. As we show, these strategies are not always successful. In this paper, we investigate the impact of using modern VPR approaches for submap merging in visual SLAM. We argue that classical evaluation metrics are not sufficient to estimate the impact of a modern VPR component on the overall system. We show that naively replacing the VPR component does not leverage its full potential without requiring substantial interference in the original system. Because of that, we present a post-processing pipeline along with a set of metrics that allow us to estimate the impact of modern VPR components. We evaluate our approach on the NCLT and Newer College datasets using ORB-SLAM3 with NetVLAD and HDC-DELF as VPR components. Additionally, we present a simple approach for combining VPR with temporal consistency for map merging. We show that the map merging performance of ORB-SLAM3 can be improved. Building on these results, researchers in VPR can assess the potential of their approaches for SLAM systems.