Simple Agentic Memory for Generalist Robot Policies
作者: Yuyou Zhang, Yunbei Zhang, Miao Li, Janet Wang, Zijian Jin, Shilong Liu, Ding Zhao
分类: cs.RO, cs.AI
发布日期: 2026-09-29
备注: 34 pages, 13 figures. Project page: https://simplearm.github.io/
💡 一句话要点
提出简单代理记忆以解决通用机器人策略的记忆依赖问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人记忆 任务执行 状态管理 交互学习 性能提升
📋 核心要点
- 现有的机器人控制方法往往无法有效处理交互过程中产生的复杂状态信息，导致性能不足。
- 本文提出的SimpleARM通过定义监控内容和结构化访问，解决了机器人在执行任务时对历史信息的依赖问题。
- 实验结果表明，SimpleARM在多个任务中显著提升了成功率，验证了其在记忆管理方面的有效性。
📝 摘要（中文）
视觉记忆系统通常保留或压缩过去的观察结果。然而，机器人控制还需要交互衍生的状态，这些状态在单个帧中可能并未显式表示，例如持久的身份关系、累积的进展或有序的过程。本文提出了简单代理机器人记忆（SimpleARM），这是一个无需训练的记忆层，适用于冻结的通用机器人策略。SimpleARM根据任务指令指定监控内容，冻结的感知工具在线维护紧凑的类型化状态，结构化访问仅在提议的子目标依赖于历史时检索该状态，而当前视图的基础则在执行前解析回忆的实体。我们在RoboMME基准上评估了SimpleARM，该基准包含需要历史信息的记忆依赖机器人操作任务。结果显示，SimpleARM在16个任务和三个策略种子上实现了67.17%的平均成功率，相比之下，最强的非神谕基线为44.51%。
🔬 方法详解
问题定义：本文旨在解决机器人在执行任务时对历史信息的依赖问题，现有方法往往无法有效利用交互过程中产生的状态信息，导致性能下降。
核心思路：SimpleARM通过引入一个无需训练的记忆层，指定需要监控的状态，并在执行时动态检索历史信息，以增强机器人策略的执行能力。
技术框架：整体架构包括任务指令解析、状态监控、结构化访问和当前视图解析四个主要模块。任务指令用于指导监控内容，状态监控模块维护紧凑的状态信息，结构化访问模块在需要时检索历史状态，而当前视图解析则确保在执行前对回忆的实体进行解析。
关键创新：SimpleARM的主要创新在于其训练-free的设计理念，能够在不改变现有策略的情况下，增强机器人对历史信息的利用能力，与传统方法相比，提供了更为灵活和高效的记忆管理机制。
关键设计：在设计中，SimpleARM采用了紧凑的状态表示方式，并通过结构化访问机制确保仅在必要时检索历史信息，避免了不必要的计算开销。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SimpleARM在16个任务中实现了67.17%的平均成功率，显著高于最强非神谕基线的44.51%。通过消除不同状态的影响，验证了各个机制的特异性，表明该方法在记忆管理方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。通过有效管理记忆，机器人能够更好地理解和执行复杂任务，提高工作效率和用户体验。未来，该技术可能推动更智能的机器人系统的发展，使其在动态环境中表现得更加灵活和自主。
📄 摘要（原文）
Visual-memory systems commonly retain or compress past observations. Robot control additionally requires interaction-derived state that no individual frame may explicitly represent, such as persistent identity relations, accumulated progress, or ordered procedures. We introduce Simple Agentic Robot Memory (SimpleARM), a training-free memory layer for frozen generalist robot policies. From the task instruction, SimpleARM specifies what to monitor; frozen perceptual tools maintain compact typed state online; structured access retrieves that state only when a proposed subgoal depends on history; and current-view grounding resolves recalled entities before execution. We evaluate SimpleARM on RoboMME, a benchmark of memory-dependent robot manipulation tasks that require history information no longer available in the current observation. Across all 16 tasks and three policy seeds, SimpleARM achieves 67.17% mean success, compared with 44.51% for the strongest non-oracle baseline. Matched ablations show mechanism specificity: removing relation, reference, progress, or route state produces large losses where the affected state is retrieved for control, while largely sparing other tasks. These results support a state-based view of robot memory: effective memory for control is not simply retained visual history, but compact task-relevant state derived from the interaction history.