EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks
作者: Lizhou Liang, Xinyu Zhong, Miao Pan, Xiaohe Zhou, Xuanyu Liu, Qinfeng Li, Peng Li, Jintao Chen, Xuhong Zhang, Wenqi Zhang
分类: cs.CV
发布日期: 2026-09-23
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出EmbodiedMemory-Bench以解决长时间体交互中的记忆问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间体交互 记忆管理 基准测试 智能体 多模态记忆系统
📋 核心要点
- 现有智能体在长时间体交互中难以可靠地维持和更新环境记忆，导致性能不足。
- 提出了EmbodiedMemory-Bench基准，要求智能体从交互历史中构建和更新记忆，以完成后续任务。
- 实验表明，EMem在评估的记忆系统中表现最佳，显著提升了多种模型的性能。
📝 摘要（中文）
长时间的体交互要求智能体在观察、行动和应对变化时保持并不断更新对环境的信息。然而，现有智能体在可靠地维持这种记忆方面存在困难。我们的分析将这一限制归结为四个关键缺陷：细粒度视觉记忆薄弱、动态世界状态跟踪不可靠、未能记录交互结果揭示的世界状态，以及从先前经验中泛化能力有限。现有基准测试并未直接评估这些记忆能力。为此，我们提出了EmbodiedMemory-Bench（EMem-Bench），包含2,554个交互情节，要求智能体从交互历史中构建和更新记忆，并利用这些记忆完成后续任务。我们还提出了Embodied-Memorizer（EMem），一个将体经验组织为空间、事件和场景记忆的外部记忆系统，并训练了EMem-8B，一个管理和使用这些记忆的8B策略。实验结果表明，当前模型在四个挑战中表现不均，EMem在评估的记忆系统中表现最佳，并提升了开源和专有模型的性能。
🔬 方法详解
问题定义：本论文旨在解决智能体在长时间体交互中记忆保持和更新的不足，现有方法在细粒度视觉记忆、动态世界状态跟踪等方面存在显著缺陷。
核心思路：通过引入EmbodiedMemory-Bench基准，要求智能体在交互中构建和更新记忆，从而提高其在复杂任务中的表现。设计了一个外部记忆系统EMem，组织体经验以便更好地利用。
技术框架：整体架构包括EMem-Bench基准、Embodied-Memorizer（EMem）外部记忆系统，以及EMem-8B策略。智能体通过与环境的交互，积累记忆并在后续任务中使用这些记忆。
关键创新：最重要的创新在于提出了EMem-Bench基准，直接评估智能体在长时间交互中的记忆能力，填补了现有研究的空白。EMem外部记忆系统的设计也为智能体提供了更有效的记忆管理方式。
关键设计：在EMem中，记忆被组织为空间、事件和场景记忆，采用了特定的参数设置和损失函数，以优化记忆的存储和检索效率。EMem-8B策略进一步增强了对这些记忆的管理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在匹配的基础架构下，EMem在评估的记忆系统中表现最佳，显著提升了开源和专有模型的性能。EMem-8B策略进一步提高了其在任务完成中的表现，展现了强大的记忆管理能力。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能助手和虚拟现实等场景，能够提升智能体在复杂环境中的交互能力和任务完成效率。未来，随着记忆管理技术的进步，智能体将能够更好地适应动态变化的环境，提供更智能的服务。
📄 摘要（原文）
Long-horizon embodied interaction requires agents to retain and continually update information about the environment as they observe, act, and encounter change. Yet current agents struggle to maintain such memory reliably. Our analysis traces this limitation to four key deficiencies: weak fine-grained visual memory, unreliable dynamic world-state tracking, failing to record world state revealed by interaction outcomes, and limited generalization from prior experience. However, existing benchmarks do not directly assess these memory capabilities during long-horizon embodied interaction. To address this gap, we introduce EmbodiedMemory-Bench (EMem-Bench), comprising 2,554 interactive episodes across four task families. EMem-Bench requires agents to build and update memory from interaction history, then use it to complete a later task by acting in the environment. We further present Embodied-Memorizer (EMem), an external memory system that organizes embodied experience into spatial, event, and scene memories. We also train EMem-8B, an 8B policy that manages and uses these memories. We evaluate a diverse range of open-source and proprietary MLLMs and representative multimodal memory systems. Results show that current models remain weak and uneven across the four challenges. Under matched backbones, EMem achieves the best overall performance among the evaluated memory systems and improves both open-source and proprietary models, while EMem-8B further improves over its backbone. Project page: https://zju-omniai.github.io/EmbodiedMemoryBench/