Memory before Goal: Role of Pre-History Memory for Humanoid Loco-Manipulation

📄 arXiv: 2610.31166v1 📥 PDF

作者: Chenyuan Chen, Ran Ding, Lechen Zhang, Zewen He, Yoshihiko Nakamura

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-10-22

备注: 8 pages, 4 figures, 5 tables. Submitted to IEEE Robotics and Automation Letters (RA-L). Project page: https://memory-before-goal.github.io

💡 一句话要点

提出WholeBodyMem以解决动态场景下人形机器人操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 动态场景 操控 感知记忆 全身视觉 任务成功率 对象引导 交叉注意力

📋 核心要点

  1. 现有的全身视觉-语言-动作策略在动态场景中无法有效处理物体变化和隐藏，导致信息丢失。
  2. 本文提出WholeBodyMem，通过保持物体事件的历史信息，帮助机器人在执行目标时做出更好的决策。
  3. 实验结果表明，WholeBodyMem在仿真和真实环境中均显著提升了任务成功率，验证了其有效性。

📝 摘要（中文）

在动态场景中，人形机器人进行操控时面临非马尔可夫性的问题：随着物体的变化或隐藏，线索消失，而现有的全身视觉-语言-动作（VLA）策略仅关注当前状态。本文提出WholeBodyMem，一种对象引导的感知记忆，能够保持机器人在执行目标前观察到的物体事件的历史。SAM3模块跟踪任务对象，并在自适应预算内因果选择关键帧，动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的对象标记。我们还贡献了HuMeGo，一个包含六个模拟和六个真实世界Unitree G1任务的人形记忆基准。WholeBodyMem通过选择合适的帧而非更多帧，显著提升了无记忆和均匀记忆基线的表现，仿真中的成功率从29.1%提升至72.6%，真实机器人中的成功率从36.7%提升至88.3%。

🔬 方法详解

问题定义：本文旨在解决人形机器人在动态场景中进行操控时的信息丢失问题。现有方法无法有效处理物体的变化和隐藏，导致机器人决策的局限性。

核心思路：论文提出WholeBodyMem，通过保持物体事件的历史信息，帮助机器人在执行目标时更好地理解环境，从而提高决策质量。

技术框架：WholeBodyMem的整体架构包括SAM3模块用于跟踪任务对象，并在自适应预算内选择关键帧，动作专家通过交叉注意力机制读取这些帧及对象标记。

关键创新：最重要的创新在于引入了对象引导的感知记忆，能够有效选择与任务相关的历史帧，而非简单地存储所有帧，从而提升了决策的准确性和效率。

关键设计：在设计上，WholeBodyMem采用了自适应预算机制来选择关键帧，并通过交叉注意力机制结合对象的外观、几何和时间信息，确保机器人能够在复杂环境中做出更好的决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WholeBodyMem在仿真环境中的任务成功率从29.1%提升至72.6%，在真实机器人中从36.7%提升至88.3%。这些结果显著优于无记忆和均匀记忆的基线，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶和人机协作等场景。通过提升机器人在动态环境中的操控能力，能够更好地适应复杂的现实世界任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humanoid loco-manipulation in dynamic scenes is non-Markovian: cues vanish as objects change or are hidden, or leave the view as the robot turns and walks, yet whole-body vision-language-action (VLA) policies see only the present. We present WholeBodyMem, an object-guided perceptual memory that keeps the pre-history of object events seen before the robot acts on its goal. SAM3 tracks the task objects, and their events causally select key frames within an adaptive budget, which the action expert reads by cross-attention together with object tokens encoding appearance, geometry and time. We also contribute HuMeGo, a humanoid memory benchmark with six simulated and six real-world Unitree G1 tasks. Keeping the right frames rather than more frames, WholeBodyMem surpasses memoryless and uniform-memory baselines, raising its base policy's success from 29.1% to 72.6% in simulation and from 36.7% to 88.3% on the real robot, while also improving the standard SIMPLE tasks (70.2% to 86.9%).