MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation
作者: Xueyao Wei, Yifei Wang, Delun Li, Shaoan Wang, Junzhi Yu, Wenjie Song, Xingyu Chen
分类: cs.RO, cs.AI
发布日期: 2026-10-13
💡 一句话要点
提出MemoryVLN以解决长轨迹导航中的记忆管理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 记忆管理 长序列压缩 多模态融合 机器人导航
📋 核心要点
- 现有的视觉语言导航方法在处理长轨迹时面临上下文长度限制和历史观察冗余的问题，导致性能下降。
- 本文提出MemoryVLN，通过记忆构建和管理机制，优化长序列压缩和记忆重用，提升导航效率。
- 在R2R-CE和RxR-CE数据集上的实验结果显示，MemoryVLN在成功率上较现有方法有2%和6.5%的显著提升。
📝 摘要（中文）
大型视觉语言模型（LVLMs）在具身视觉语言导航（VLN）中展现出强大的潜力，但在长轨迹导航中，由于上下文长度限制、冗余历史观察和时空对齐不稳定等问题，其性能有所下降。为了解决这些问题，本文提出了MemoryVLN，一个基于记忆构建和管理的统一导航系统。该系统通过长序列压缩、以自我为中心的记忆表示、分层记忆库和记忆增强等机制，将原始导航历史转化为紧凑、空间基础、可选择检索和可重用的导航经验。在R2R-CE和RxR-CE数据集上的广泛实验表明，MemoryVLN在成功率上相较于最先进的基线有显著提升（分别为2%和6.5%）。
🔬 方法详解
问题定义：本文旨在解决长轨迹视觉语言导航中记忆管理的挑战，现有方法在上下文长度和历史观察的冗余性方面存在不足，影响了导航性能。
核心思路：MemoryVLN的核心思路是通过构建和管理记忆，优化长序列的压缩和重用，以提高导航的准确性和效率。设计上结合了时间采样和空间信息，以增强记忆的有效性。
技术框架：MemoryVLN的整体架构包括记忆构建和管理两个主要阶段。记忆构建阶段采用长序列压缩和自我意识记忆表示，管理阶段则通过分层记忆库和记忆增强来实现。
关键创新：最重要的技术创新在于引入了以自我为中心的记忆表示，结合2D语义标记、3D几何标记和6D代理姿态，使每个记忆能够编码观察到的内容及其位置。
关键设计：在记忆构建中，采用了灵感来自遗忘曲线的时间采样策略，以在有限的token预算下保留密集的近期证据和稀疏的代表性远期观察。
🖼️ 关键图片
📊 实验亮点
在R2R-CE和RxR-CE数据集上的实验结果显示，MemoryVLN在成功率上分别提升了2%和6.5%，显著超越了现有最先进的基线，证明了其在长轨迹导航中的有效性和优势。
🎯 应用场景
MemoryVLN的研究成果在机器人导航、智能助手和增强现实等领域具有广泛的应用潜力。通过优化记忆管理，该系统可以提升机器人在复杂环境中的导航能力，增强人机交互的自然性和效率，未来可能推动智能设备的普及与发展。
📄 摘要（原文）
Large vision-language models (LVLMs) have shown strong potential for embodied vision-language navigation (VLN), yet their performance degrades on long-horizon trajectories due to context-length limits, redundant historical observations, and unstable spatial alignment across time. These issues make it difficult to both compress long navigation histories and reliably reuse past spatial experience. To address these limitations, we propose \textbf{MemoryVLN}, a unified memory-driven navigation system built around memory construction and management. During memory construction, \emph{Long Sequence Compression} employs forgetting-curve-inspired temporal sampling to preserve dense recent evidence and sparse yet representative distant observations under a limited token budget. \emph{Ego-Aware Memory Representation} further integrates 2D semantic tokens, 3D geometric tokens, and 6D agent poses, allowing each memory to encode both what was observed and where it was observed. During memory management, \emph{Hierarchical Memory Bank} maintains in-episode and context-level memories through cross-context warm-start and confidence-controlled write-back. \emph{Memory Enhancement} then retrieves the Top-$K$ relevant memories according to the current navigation state and fuses them with the current visual tokens. Together, these mechanisms transform raw navigation history into compact, spatially grounded, selectively retrievable, and reusable navigation experience. Extensive experiments on R2R-CE and RxR-CE demonstrate consistent improvements over the state-of-the-art baselines by a substantial margin (i.e., 2\% and 6.5\% in successful rate).