RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark

📄 arXiv: 2605.10921v1 📥 PDF

作者: Huashuo Lei, Wenxuan Song, Huarui Zhang, Jieyuan Pei, Jiayi Chen, Haodong Yan, Han Zhao, Pengxiang Ding, Zhipeng Zhang, Lida Huang, Donglin Wang, Yan Wang, Haoang Li

分类: cs.RO

发布日期: 2026-05-11

备注: Project website: https://robomemarena.github.io

💡 一句话要点

提出RoboMemArena基准与PrediMem架构，解决机器人长时记忆与复杂任务规划难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人记忆 视觉语言动作模型 长时任务规划 预测编码 多模态基准 具身智能

📋 核心要点

  1. 现有机器人记忆基准存在多模态标注缺失、任务复杂度低及缺乏真实世界评估等局限，难以支撑长时任务研究。
  2. 提出RoboMemArena基准与PrediMem架构，通过双系统VLA设计，结合记忆库管理与预测编码机制提升任务表现。
  3. 实验证明PrediMem在复杂记忆任务中超越现有基线，揭示了记忆管理策略与模型扩展规律对机器人智能的关键作用。

📝 摘要（中文）

记忆是机器人智能的核心，使其能在部分可观测环境中利用历史信息完成长时任务。然而，现有机器人记忆基准缺乏多模态标注、任务覆盖面窄且缺乏真实世界验证。为此，本文提出了RoboMemArena，这是一个包含26项任务的大规模基准，平均轨迹长度超过1000步，且68.9%的子任务依赖于记忆。该基准利用视觉语言模型（VLM）构建任务流水线，提供详细的记忆相关标注，并支持真实世界物理评估。此外，本文设计了PrediMem，这是一种双系统视觉语言动作（VLA）模型，通过高层VLM规划器管理记忆库，并引入预测编码头以增强对任务动态的敏感性。实验表明，PrediMem在RoboMemArena上显著优于现有基线，为复杂记忆系统的架构设计与扩展规律提供了深刻见解。

🔬 方法详解

问题定义：机器人需要在部分可观测环境中处理长时序任务，但现有基准无法有效评估模型对历史观测和动作的记忆与利用能力，且缺乏从仿真到真实世界的跨域验证。

核心思路：引入双系统认知架构，将记忆处理分为高层规划与底层动态预测，通过显式的记忆库管理（包含近期缓存与关键帧缓存）来模拟人类的短期与长期记忆机制。

技术框架：PrediMem架构包含一个高层VLM规划器，负责根据当前状态与记忆库进行决策；同时集成了一个预测编码头（Predictive Coding Head），通过对未来任务动态的预测来增强模型对关键信息的提取能力。

关键创新：提出了基于VLM自动生成的任务流水线，实现了大规模、高复杂度的记忆依赖任务构建；引入预测编码机制，使模型能够主动关注任务演变中的关键状态变化，而非仅仅依赖被动记忆。

关键设计：采用双缓冲区记忆管理策略，将近期观测与关键帧分离存储；利用预测编码损失函数优化特征表示，确保模型在长时任务中保持对环境动态的高度敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PrediMem在RoboMemArena基准测试中全面超越了现有的VLA基线模型。实验结果表明，通过引入预测编码头和双缓冲区记忆管理，模型在长时任务的成功率上实现了显著提升。此外，研究还通过消融实验揭示了记忆容量与模型规模之间的扩展规律，为构建更高效的机器人记忆系统提供了量化依据。

🎯 应用场景

该研究适用于需要复杂逻辑推理与长时记忆的机器人应用，如家庭服务机器人、仓储物流自动化及复杂环境下的自主探索。其提供的基准与架构为开发具备持续学习与长时规划能力的智能体提供了标准化的评估框架与技术参考，推动机器人从简单反应式控制向认知型智能演进。

📄 摘要（原文）

Memory is a critical component of robotic intelligence, as robots must rely on past observations and actions to accomplish long-horizon tasks in partially observable environments. However, existing robotic memory benchmarks still lack multimodal annotations for memory formation, provide limited task coverage and structural complexity, and remain restricted to simulation without real-world evaluation. We address this gap with RoboMemArena, a large-scale benchmark of 26 tasks, with average trajectory lengths exceeding 1,000 steps per task and 68.9% of subtasks being memory-dependent. The generation pipeline leverages a vision-language model (VLM) to design and compose subtasks, generates full trajectories through atomic functions, and provides memory-related annotations, including subtask instructions and native keyframe annotations, while paired real-world memory tasks support physical evaluation. We further design PrediMem, a dual-system VLA in which a high-level VLM planner manages a memory bank with recent and keyframe buffers and uses a predictive coding head to improve sensitivity to task dynamics. Extensive experiments on RoboMemArena show that PrediMem outperforms all baselines and provides insights into memory management, model architecture, and scaling laws for complex memory systems.