MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
作者: Tej Deep Pala, Navonil Majumder, Bryce Goh, Raphael Yee, Jianfei Yang, Liming Chen, Soujanya Poria
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-09-23
💡 一句话要点
提出MemBodied以解决历史依赖任务中的记忆问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 情节记忆 机器人控制 历史依赖任务 多模态学习
📋 核心要点
- 现有的视觉-语言-动作模型在处理历史依赖的操作任务时，无法有效利用过去观察的信息，导致性能不足。
- MemBodied通过引入固定大小的情节记忆，结合关联状态和情节锚点，优化了策略生成过程，避免了信息膨胀和推理延迟。
- 在实验中，MemBodied在多个任务中显著提高了成功率，且参数量较少，展示了其在历史依赖操作中的有效性。
📝 摘要（中文）
视觉-语言-动作模型为通用机器人控制提供了坚实基础，但大多数策略未能保留和利用超出当前观察的情节级信息。这一局限性在依赖历史信息的操作任务中尤为显著。为此，本文提出MemBodied，一个固定大小的情节记忆，包含一个记录策略调用间交互的关联状态和一个保留初始场景紧凑表示的情节锚点。通过在五个评估的RMBench任务中，MemBodied的成功率是无状态策略的7.81倍，且在LIBERO-Long套件中达到了90.6%的成功率，较无状态策略提升了5.4%。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型在历史依赖任务中无法有效利用过去观察信息的问题。现有方法往往导致信息膨胀和推理延迟，影响操作性能。
核心思路：MemBodied的核心思路是引入一个固定大小的情节记忆，通过关联状态记录策略调用间的交互，并通过情节锚点保留初始场景的紧凑表示，从而优化信息的使用。
技术框架：MemBodied的整体架构包括两个主要模块：关联状态和情节锚点。在每次策略调用时，模型基于当前输入和记忆组件生成动作，而不是直接使用过去的观察。
关键创新：MemBodied的主要创新在于其固定大小的情节记忆设计，能够有效保留历史信息，同时避免了传统方法中常见的记忆膨胀问题。与现有的记忆增强基线相比，MemBodied在性能上有显著提升。
关键设计：在设计中，MemBodied采用了固定大小的记忆结构，减少了参数量，并通过优化的损失函数和网络结构，确保了在处理历史依赖任务时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
MemBodied在五个RMBench任务中实现了7.81倍于无状态策略的平均成功率，且在LIBERO-Long套件中达到了90.6%的成功率，较无状态策略提升了5.4%。此外，其参数量比最强基线少10倍，展现了显著的性能优势。
🎯 应用场景
MemBodied的研究成果在机器人控制、自动化操作和人机交互等领域具有广泛的应用潜力。通过有效利用历史信息，该模型能够提升机器人在复杂环境中的操作能力，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-Language-Action models provide a strong foundation for general-purpose robot control, yet a vast majority of policies do not preserve and leverage episode-level information beyond the current observation. This limitation is consequential in history-dependent manipulation tasks that depend on information available only in past observations. Retaining past observations in context can aid in recovering this information, but at the significant cost of ever-growing, bloated context and inference latency. We thus introduce MemBodied, a fixed-size episodic memory with two complementary components: an associative state that records interactions across policy calls and an episode anchor that preserves a compact representation of the initial scene as a reference. At each policy call, the model conditions action generation on the current input and the memory components, rather than directly using past observations. Across five evaluated RMBench tasks requiring memory, MemBodied achieves $7.81\times$ the mean success rate of a stateless policy and $2.98\times$ of vanilla recurrent memory, while outperforming the strongest memory-augmented baseline by $1.3\times$ with $10\times$ fewer added parameters. On the fully observable LIBERO-Long suite, it reached 90.6%, a 5.4% improvement over the stateless $π_0$ policy. These findings support MemBodied as a practical alternative to expanding the policy context for history-dependent manipulation.