What Should Embodied Agents Remember? Benchmarking and Evaluating Memory Modality for Embodied Agents
作者: Junxiang Wang, Yuchen Liu, Yi Wu, Guofei Chen, Nir Pechuk, Tao Chen, Zackory Erickson, Yuzhe Qin, Tianyu Li
分类: cs.RO
发布日期: 2026-10-08
备注: 16 pages, 6 figures, 8 tables
💡 一句话要点
提出MeMoREval基准以优化具身智能体的记忆使用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能体 记忆模态 机器人技术 任务成功率 推理成本 视觉输入 场景图
📋 核心要点
- 现有的具身智能体在记忆使用上面临挑战，尤其是在如何有效存储和利用视觉及空间信息方面。
- 论文提出MeMoREval基准，通过控制的体验-请求协议，评估不同记忆模态对智能体任务表现的影响。
- 实验结果表明，存储帧的方式在推理成本上更具优势，而结合场景图的帧存储则在任务成功率上表现最佳。
📝 摘要（中文）
记忆使大型语言模型（LLM）智能体能够利用过去的经验，通常以文本记录的形式存储。对于控制机器人的具身智能体，视觉和空间观察引入了更广泛的记忆模态，影响后续任务的信息可用性和构建及使用记忆的模型推理成本。本文介绍了MeMoREval基准，通过控制的体验-请求协议研究这一问题。智能体首先经历一系列事件而不知道后续任务，然后利用记忆响应信息和行动请求，而不接收新的观察。该基准包括53个任务，涵盖四个模拟室内环境，测量任务成功率及记忆构建和使用的推理成本。我们的参考评估显示，存储帧在较低的写入推理成本下优于存储生成描述，而存储带场景图的帧在每个测试模型中实现了最高的任务成功率。对累积经验、选择性帧保留和视觉输入的扩展展示了该基准如何适应进一步的记忆设计研究。两个物理机器人演示证明了其协议在模拟之外的可行性。
🔬 方法详解
问题定义：本文旨在解决具身智能体在记忆使用中的效率问题，现有方法往往未能充分利用视觉和空间信息，导致推理成本高且任务成功率低。
核心思路：通过引入MeMoREval基准，论文设计了一种新的体验-请求协议，使智能体能够在不接收新观察的情况下，利用记忆来响应请求，从而优化记忆的使用方式。
技术框架：整体架构包括事件体验阶段和请求响应阶段。在事件体验阶段，智能体经历一系列事件；在请求响应阶段，智能体利用存储的记忆来处理信息和行动请求。
关键创新：最重要的创新在于提出了多种记忆模态的比较，尤其是存储帧与生成描述的对比，发现存储帧在推理成本和任务成功率上均表现优越。
关键设计：在实验中，采用了不同的记忆存储策略，包括存储带场景图的帧和选择性帧保留，具体参数设置和损失函数设计未详细披露，需进一步研究。
🖼️ 关键图片
📊 实验亮点
实验结果显示，存储帧的方式在推理成本上显著低于存储生成描述，且在所有测试模型中，存储带场景图的帧实现了最高的任务成功率，表明该方法在实际应用中具有较高的有效性和可行性。
🎯 应用场景
该研究的潜在应用场景包括智能机器人、自动驾驶、虚拟现实等领域，能够提升智能体在复杂环境中的决策能力和任务执行效率。未来，随着记忆设计的进一步优化，具身智能体的自主学习和适应能力将得到显著增强。
📄 摘要（原文）
Memory allows large language model (LLM) agents to use past experience, often stored as textual records, when responding to requests. For embodied agents that control robots, visual and spatial observations introduce a broader choice of memory modalities, affecting both the information available for subsequent tasks and the model inference costs of constructing and using memory. We introduce MeMoREval, a benchmark for studying this problem through a controlled experience-request protocol. Agents first experience a sequence of events without knowing the subsequent tasks, and subsequently they use memory to respond to information and action requests without receiving new observations. The benchmark comprises 53 tasks across four simulated indoor environments and measures task success alongside the inference costs of memory construction and use. Our reference evaluations reveal that storing frames outperforms storing generated descriptions at lower write-time inference cost for the primary model, while storing frames with scene graphs achieves the highest aggregate task success for every tested model. Extensions to accumulated experience, selective frame retention, and visual input to memory writers demonstrate how the benchmark accommodates further memory-design investigations. Two physical-robot demonstrations establish the feasibility of applying its protocol beyond simulation.