IMOST: Incremental Memory Mechanism with Online Self-Supervision for Continual Traversability Learning

📄 arXiv: 2409.14070v1 📥 PDF

作者: Kehui Ma, Zhen Sun, Chaoran Xiong, Qiumin Zhu, Kewei Wang, Ling Pei

分类: cs.RO

发布日期: 2024-09-21

DOI: 10.13140/RG.2.2.33195.86560

🔗 代码/项目: GITHUB

💡 一句话要点

提出IMOST框架，解决连续可通行性学习中的知识遗忘与标注稀疏问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可通行性估计 连续学习 自监督学习 增量学习 机器人导航

📋 核心要点

  1. 现有基于自监督学习的可通行性估计方法存在标注稀疏和知识遗忘问题，难以适应复杂动态环境。
  2. IMOST框架通过增量动态记忆模块和自监督标注模块，模仿人类记忆机制，实现知识的持续学习和场景适应。
  3. 实验结果表明，IMOST在公共和自采集数据集上均优于现有方法，并在四足机器人上成功部署。

📝 摘要（中文）

本文提出了一种名为IMOST的连续可通行性学习框架，用于解决复杂动态环境中基于自监督学习(SSL)的可通行性估计问题。该框架包含两个关键模块：增量动态记忆(IDM)和自监督标注(SSA)。IDM通过模仿人类记忆机制，根据信息扩展准则将新数据样本分配到新的聚类中，并基于多样性规则更新聚类，从而增强了场景感知的知识多样性，同时保持了紧凑的记忆容量。SSA模块集成了FastSAM，利用点提示实时生成完整的标注，降低了训练复杂度。IMOST已成功部署在四足机器人上，并在在线学习过程中进行了性能评估。在公共和自采集数据集上的实验结果表明，IMOST优于当前最先进的方法，并在各种场景中保持了强大的识别能力和适应性。

🔬 方法详解

问题定义：现有的基于自监督学习的可通行性估计方法在复杂和动态环境中面临挑战。主要痛点在于：一是生成的标注信息稀疏，缺乏详细的边界信息；二是训练策略侧重于快速适应的困难样本，导致知识遗忘和有偏见的预测。这些问题限制了其在实际机器人导航系统中的应用。

核心思路：IMOST的核心思路是模仿人类的记忆机制，通过增量的方式学习新的场景知识，并保持对旧知识的记忆。具体来说，利用增量动态记忆模块(IDM)来存储和更新场景知识，并使用自监督标注模块(SSA)来生成高质量的训练数据。这种设计旨在解决知识遗忘、标注稀疏以及适应动态环境的问题。

技术框架：IMOST框架主要包含两个模块：增量动态记忆(IDM)和自监督标注(SSA)。IDM负责维护一个场景知识库，并根据新的数据样本动态地更新该知识库。SSA模块则利用FastSAM模型，通过点提示的方式生成密集的、高质量的可通行性标注。整个框架通过在线学习的方式，不断地适应新的环境。

关键创新：IMOST的关键创新在于：1) 提出了增量动态记忆(IDM)模块，该模块能够根据信息扩展准则和多样性规则动态地分配和更新场景知识，从而有效地解决了知识遗忘问题。2) 提出了自监督标注(SSA)模块，该模块利用FastSAM模型和点提示，能够实时生成高质量的可通行性标注，降低了训练的复杂度。3) 将整个框架部署在四足机器人上，验证了其在实际应用中的可行性。

关键设计：IDM模块的关键设计包括：信息扩展准则，用于判断新的数据样本是否需要分配到新的聚类中；多样性规则，用于更新已有的聚类，保证知识的多样性。SSA模块的关键设计包括：利用FastSAM模型进行分割，并使用点提示来引导分割过程。损失函数方面，论文可能采用了交叉熵损失或者Dice损失等常用的分割损失函数。具体的网络结构细节（例如FastSAM的backbone）需要参考FastSAM的论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IMOST在公共数据集和自采集数据集上均取得了优于现有方法的性能。实验结果表明，IMOST能够有效地解决知识遗忘问题，并在各种场景中保持强大的识别能力和适应性。此外，IMOST已成功部署在四足机器人上，并在在线学习过程中进行了性能评估，验证了其在实际应用中的可行性。

🎯 应用场景

IMOST框架可应用于各种机器人导航系统，尤其是在复杂和动态环境中。例如，可用于四足机器人的自主导航、无人驾驶车辆的路径规划、以及灾难救援机器人的环境感知。该研究有助于提高机器人在未知环境中的适应性和鲁棒性，具有重要的实际应用价值和未来发展潜力。

📄 摘要（原文）

Traversability estimation is the foundation of path planning for a general navigation system. However, complex and dynamic environments pose challenges for the latest methods using self-supervised learning (SSL) technique. Firstly, existing SSL-based methods generate sparse annotations lacking detailed boundary information. Secondly, their strategies focus on hard samples for rapid adaptation, leading to forgetting and biased predictions. In this work, we propose IMOST, a continual traversability learning framework composed of two key modules: incremental dynamic memory (IDM) and self-supervised annotation (SSA). By mimicking human memory mechanisms, IDM allocates novel data samples to new clusters according to information expansion criterion. It also updates clusters based on diversity rule, ensuring a representative characterization of new scene. This mechanism enhances scene-aware knowledge diversity while maintaining a compact memory capacity. The SSA module, integrating FastSAM, utilizes point prompts to generate complete annotations in real time which reduces training complexity. Furthermore, IMOST has been successfully deployed on the quadruped robot, with performance evaluated during the online learning process. Experimental results on both public and self-collected datasets demonstrate that our IMOST outperforms current state-of-the-art method, maintains robust recognition capabilities and adaptability across various scenarios. The code is available at https://github.com/SJTU-MKH/OCLTrav.