CMMR-VLN: Vision-and-Language Navigation via Continual Multimodal Memory Retrieval

📄 arXiv: 2603.07997v1 📥 PDF

作者: Haozhou Li, Xiangyu Dong, Huiyan Jiang, Yaoming Zhou, Xiaoguang Ma

分类: cs.AI

发布日期: 2026-03-09

💡 一句话要点

CMMR-VLN：提出基于持续多模态记忆检索的视觉语言导航框架，提升长程和未知环境下的导航性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 多模态记忆 经验检索 大型语言模型 机器人导航

📋 核心要点

  1. 现有基于LLM的VLN方法缺乏选择性地回忆和利用相关先验经验的能力，限制了其在长程和未知场景中的表现。
  2. CMMR-VLN构建多模态经验记忆，通过全景图像和地标索引，检索相关经验，并结合检索增强生成流程，模仿人类导航员的知识利用方式。
  3. 实验结果表明，CMMR-VLN在模拟和真实环境中均显著提升了导航成功率，验证了其作为VLN骨干框架的潜力。

📝 摘要（中文）

本文提出了一种名为CMMR-VLN（基于持续多模态记忆检索的视觉语言导航）的框架，旨在提升大型语言模型（LLM）在视觉语言导航（VLN）中的性能，尤其是在长程和不熟悉的环境中。CMMR-VLN赋予LLM智能体结构化的记忆和反思能力。具体来说，它构建了一个多模态经验记忆，该记忆通过全景视觉图像和显著地标进行索引，以便在导航过程中检索相关经验。此外，引入了一种检索增强生成流程，模仿经验丰富的导航员利用先验知识的方式。最后，采用了一种基于反思的记忆更新策略，选择性地存储完整的成功路径以及失败案例中的关键初始错误。综合测试表明，与NavGPT、MapGPT和DiscussNav相比，在模拟和真实测试中，平均成功率分别提高了52.9%、20.9%和20.9%，以及200%、50%和50%，证明了CMMR-VLN作为骨干VLN框架的巨大潜力。

🔬 方法详解

问题定义：现有基于大型语言模型的视觉语言导航方法，在面对长距离导航和未知环境时，由于缺乏有效的经验记忆和检索机制，无法充分利用历史经验来指导当前决策，导致导航性能下降。这些方法通常难以选择性地回忆和利用相关的先验经验。

核心思路：CMMR-VLN的核心思路是赋予LLM智能体结构化的多模态记忆，并设计有效的检索和更新机制，使其能够像经验丰富的导航员一样，在导航过程中动态地回忆和利用相关的历史经验。通过这种方式，提高智能体在复杂和未知环境中的导航能力。

技术框架：CMMR-VLN框架主要包含三个核心模块：1) 多模态经验记忆构建模块，利用全景视觉图像和显著地标对历史导航经验进行索引和存储；2) 检索增强生成模块，在导航过程中，根据当前环境和指令，从记忆中检索相关经验，并利用检索到的信息指导LLM生成导航决策；3) 基于反思的记忆更新模块，根据导航结果（成功或失败），选择性地更新记忆，保留成功的完整路径和失败的关键初始错误。

关键创新：CMMR-VLN的关键创新在于其持续多模态记忆检索机制。与传统的VLN方法相比，CMMR-VLN能够更有效地利用历史经验，并且能够根据导航结果动态地更新记忆，从而不断提升导航能力。此外，基于反思的记忆更新策略，能够更有效地学习失败经验，避免重复犯错。

关键设计：多模态经验记忆采用全景视觉图像和显著地标作为索引，以便更准确地检索相关经验。检索增强生成模块使用注意力机制来融合检索到的经验和当前环境信息。基于反思的记忆更新模块，采用规则来判断导航结果，并选择性地存储成功路径和失败的关键初始错误。具体的参数设置和网络结构在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMMR-VLN在模拟和真实环境的测试中均取得了显著的性能提升。与NavGPT、MapGPT和DiscussNav相比，在模拟环境中平均成功率分别提高了52.9%、20.9%和20.9%，在真实环境中平均成功率分别提高了200%、50%和50%。这些结果表明，CMMR-VLN能够有效地利用历史经验，提高导航性能，尤其是在长程和未知环境中。

🎯 应用场景

CMMR-VLN具有广泛的应用前景，例如服务型机器人、自动驾驶、虚拟现实导航等。它可以帮助机器人在复杂和未知的环境中自主导航，提高机器人的智能化水平和服务能力。该研究的成果也有助于提升人机交互的自然性和效率，为未来的智能生活提供更强大的技术支持。

📄 摘要（原文）

Although large language models (LLMs) are introduced into vision-and-language navigation (VLN) to improve instruction comprehension and generalization, existing LLM- based VLN lacks the ability to selectively recall and use relevant priori experiences to help navigation tasks, limiting their performance in long-horizon and unfamiliar scenarios. In this work, we propose CMMR-VLN (Continual Multimodal Memory Retrieval based VLN), a VLN framework that endows LLM agents with structured memory and reflection capabilities. Specifically, the CMMR-VLN constructs a multimodal experi- ence memory indexed by panoramic visual images and salient landmarks to retrieve relevant experiences during navigation, introduces a retrieved-augmented generation pipeline to mimick how experienced human navigators leverage priori knowledge, and incorporates a reflection-based memory update strategy that selectively stores complete successful paths and the key initial mistake in failure cases. Comprehensive tests illustrate average success rate improvements of 52.9%, 20.9% and 20.9%, and 200%, 50% and 50% over the NavGPT, the MapGPT, and the DiscussNav in simulation and real tests, respectively eluci- dating the great potential of the CMMR-VLN as a backbone VLN framework.