Memory as Plans: World-Action Modeling with Memory-Grounded Planning

📄 arXiv: 2609.11561v1 📥 PDF

作者: Sizhe Zhao, Haozhe Xie, Weiyu Zhao, Chenchu Zhang, Huan Wang, Chenyang Wang, Qinglin Liu, Shengping Zhang

分类: cs.RO

发布日期: 2026-09-10

备注: Project Page: https://sizhezhao.github.io/projects/MaP-WAM/

💡 一句话要点

提出MaP-WAM框架以解决复杂非马尔可夫任务的记忆依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非马尔可夫任务 记忆建模 多模态情境 机器人操作 计划执行 结构化注意力 长短期记忆网络

📋 核心要点

  1. 现有方法在处理复杂的非马尔可夫任务时，往往无法有效利用长期记忆，导致执行效率低下。
  2. 本文提出MaP-WAM框架，通过将记忆依赖的建模分解为规划和执行两个阶段，提升了任务执行的灵活性和效率。
  3. MaP-WAM在RMBench上取得了83.3%的成功率，并在真实机器人任务中达到了78.0%的成功率，展示了其优越的性能。

📝 摘要（中文）

主流机器人策略通常采用马尔可夫模型，但许多复杂的现实操作任务本质上是非马尔可夫的，需超越当前观察的长期记忆。现有的记忆机制往往依赖于语言摘要或视觉窗口，可能会丢失细粒度的视觉证据。本文提出了MaP-WAM框架，将记忆依赖的世界-动作建模分解为基于记忆的规划和计划条件执行，利用长期多模态情境作为规划时证据。MaP-WAM将记忆表示为包含语言指令和稀疏视觉上下文的完成段记录，并将其转化为紧凑的计划，包含下一个段级语言计划和相应的视觉指导。实验结果显示，MaP-WAM在RMBench上取得了83.3%的成功率，并在真实机器人任务中达到了78.0%的成功率，同时在任务历史增长时保持了近乎恒定的推理延迟。

🔬 方法详解

问题定义：本文旨在解决复杂非马尔可夫任务中的记忆依赖问题。现有方法常常依赖于语言摘要或视觉窗口，导致细节丢失和执行效率低下。

核心思路：MaP-WAM框架通过将记忆建模分解为基于记忆的规划和计划条件执行，利用长期多模态情境作为证据，避免了对完整历史的重复条件化。

技术框架：该框架包括两个主要模块：记忆基础的规划模块和计划条件的执行模块。记忆被表示为包含语言指令和视觉上下文的段记录，转换为紧凑的计划。

关键创新：MaP-WAM的创新在于将记忆视为完成段记录，并通过结构化注意力实现关键值缓存，从而在规划和执行中保持上下文长度固定。

关键设计：该框架采用了长短期记忆网络（LSTM）和结构化注意力机制，确保在执行过程中能够有效地更新上下文，同时保持推理延迟的恒定。具体的损失函数和参数设置在实验中经过优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MaP-WAM在RMBench上取得了83.3%的成功率，相较于现有基线有显著提升。同时，在真实机器人任务中也达到了78.0%的成功率，且在任务历史增长时保持了近乎恒定的推理延迟，展示了其优越的性能和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在复杂的机器人操作、自动化制造和智能家居等领域。通过提升机器人在非马尔可夫任务中的执行能力，MaP-WAM可以显著提高操作效率和灵活性，推动智能机器人技术的发展。

📄 摘要（原文）

Mainstream robotic policies often adopt a Markovian formulation, but many complex real-world manipulation tasks are inherently non-Markovian, requiring long-horizon memory beyond the current observation. Existing memory mechanisms often rely on language summaries, growing visual windows, or their combinations, and may therefore lose fine-grained visual evidence or face a trade-off between history coverage and execution efficiency. We introduce MaP-WAM, a Memory-as-Plans framework that decomposes memory-dependent world-action modeling into memory-grounded planning and plan-conditioned execution, and uses long-term multimodal episodic context as planning-time evidence rather than repeatedly conditioning the executor on the full history. MaP-WAM represents memory as completed segment records containing language instructions and sparse visual context, and converts this episodic memory into compact plans comprising the next segment-level language plan and corresponding visual guidance. A World-Action-Progress (WAP) model executes each plan over an unknown duration by jointly predicting action chunks and corresponding execution progress at inference time, calibrating predicted progress through plan-observation alignment for adaptive segment transitions and closed-loop context updates. MaP-WAM keeps the executor context length fixed, while structured attention further enables key-value caching in both planning and execution. MaP-WAM achieves state-of-the-art performance on RMBench with an 83.3% success rate and attains 78.0% success on real-robot tasks, while maintaining approximately constant executor inference latency as task history grows.