2AM: Grounding Agent-Side Memory as Guidance for Steerable Action Models in Long-Horizon Manipulation
作者: Yutong Hu, Fengjiao Chen, Xuezhi Cao, Renaud Detry
分类: cs.RO, cs.AI
发布日期: 2026-09-10
💡 一句话要点
提出2AM以解决长时间机器人操作中的记忆问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间操作 机器人记忆 多模态代理 无状态动作模型 任务执行
📋 核心要点
- 现有的机器人操作系统在长时间任务中面临记忆不足的问题，导致策略和执行的效果不佳。
- 论文提出的2AM方法通过将任务记忆集中在代理端，并使用无状态的动作模型来执行任务相关运动，提升了操作的灵活性和准确性。
- 在LIBERO-Mem数据集上，2AM实现了76.3%的平均完成率，显著超越了基线性能，展示了其在长时间操作中的有效性。
📝 摘要（中文）
长时间的机器人操作需要记忆，但不一定要在动作策略内部。为了解决此类任务，现有的智能系统通常将视觉语言代理（VLA）与规划器和几何工具结合，使用额外的深度或校准几何。这些系统混淆了归因：收益可能来自更丰富的观察或替代的运动工具，而失败可能源于策略或语言接口的不充分。2AM将多模态代理作为任务记忆的唯一持有者，并将基于RGB的、无状态的动作模型作为任务相关运动的唯一执行者。通过增强演示与结构化提示标签，并在条件丢失、空间噪声和时间抖动下进行训练，2AM在LIBERO-Mem上达到了76.3%的平均完成率，相较于最强基线14.8%提升了61.5个百分点。
🔬 方法详解
问题定义：本论文旨在解决长时间机器人操作中的记忆管理问题。现有方法往往将记忆嵌入到动作策略中，导致策略的复杂性和不确定性增加。
核心思路：2AM方法的核心在于将任务记忆集中在代理端，而将动作执行交给一个无状态的动作模型。这种设计简化了策略的复杂性，并提高了操作的灵活性。
技术框架：整体架构包括两个主要模块：多模态代理和无状态动作模型。代理负责编译交互历史为子任务语言，并提供2D抓取、放置和移动提示，而动作模型则执行与任务相关的运动。
关键创新：最重要的创新在于将任务记忆完全保留在代理端，而不是分散在多个工具和策略中。这种设计使得代理能够更精确地控制动作模型的执行。
关键设计：在训练过程中，使用结构化提示标签增强演示，并在条件丢失、空间噪声和时间抖动下进行训练，以提高对不完美输出的容忍度。
🖼️ 关键图片
📊 实验亮点
在LIBERO-Mem数据集上，2AM达到了76.3%的平均完成率，相较于最强基线14.8%提升了61.5个百分点，展示了其在长时间操作中的显著优势。同时，63.0%的放宽成功率和11.8%的严格成功率进一步验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和家庭助理等场景。通过提升机器人在复杂环境中的操作能力，2AM有望在实际应用中显著提高效率和灵活性，推动智能机器人技术的发展。
📄 摘要（原文）
Long-horizon robot manipulation requires memory, but not necessarily inside the action policy. To address such tasks, current agentic systems often combine VLAs with planners and geometric tools, sometimes using additional depth or calibrated geometry. These systems confound attribution: gains may come from richer observations or alternative motor tools, while failures may stem from either the policy or an under-specified language interface. We isolate this question through a deliberately constrained design: less tool breadth, but greater interface bandwidth. 2AM makes a multimodal Agent the sole holder of task memory and a single RGB-based, episodically stateless Action Model the sole executor of task-relevant motion. The Agent compiles interaction history into subtask language and optional 2D grasp, place, and move hints that bind its physical intention at different time scales. To teach this steerability to the VLA, we augment demonstrations with structured hint labels and train under condition dropout, spatial noise, and temporal jitter to tolerate imperfect Agent outputs. On LIBERO-Mem, without depth, online geometry, or planner-based object motion, 2AM reaches 76.3% average completion, a 61.5-point improvement over the strongest reported baseline of 14.8%, together with 63.0% relaxed and 11.8% strict success. These results show that task memory can remain Agent-side. They further show that Action Model capability depends not only on what the policy has learned, but on how precisely the Agent can steer it.