Mem4Act: Learning Effective Latent Memory for Long-Horizon Robotic Manipulation

📄 arXiv: 2610.22323v1 📥 PDF

作者: Yun Zhang, Zhiyu Huang, Tianhui Cai, Chen Tang, Wei Wang, Jiaqi Ma

分类: cs.RO

发布日期: 2026-10-15

💡 一句话要点

提出Mem4Act以解决长时间机器人操控中的记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 长时间操控 潜在记忆 多粒度聚合 问答监督 机器人控制

📋 核心要点

  1. 现有方法在长时间操控中难以有效保留和利用历史信息，导致性能下降。
  2. Mem4Act通过多粒度时间聚合和问答监督优化记忆，确保策略有效利用记忆。
  3. 在多个基准测试中，Mem4Act显著提高了成功率，展示了其在记忆依赖控制中的优势。

📝 摘要（中文）

长时间的机器人操控本质上需要记忆：代理必须保留来自过去观察和交互的任务相关信息，并利用这些信息指导未来的行动。现有方法通常保留原始历史观察、压缩的视觉标记或语言摘要，但这些表示要么使行动策略暴露于越来越长的历史中，要么冒着丢失任务相关的时间、语义和感知信息的风险。我们提出了Mem4Act，一个学习有效潜在记忆的框架，作为明确优化的固定大小表示，旨在解决长时间机器人控制中的三个相互关联的挑战：如何有效覆盖长历史、记忆应保留哪些信息，以及如何确保策略实际依赖于记忆。Mem4Act在RoboMME、RMBench和四个真实世界操控任务中实现了记忆依赖控制的最新性能，成功率分别为49.88%、61.0%和81.5%。

🔬 方法详解

问题定义：本论文旨在解决长时间机器人操控中如何有效利用历史信息的问题。现有方法往往无法平衡信息保留与历史长度，导致策略性能下降。

核心思路：Mem4Act的核心思路是通过学习有效的潜在记忆，优化固定大小的表示，以便在长时间控制中保留关键的任务信息。通过多粒度时间聚合和问答监督，确保策略能够有效依赖于记忆。

技术框架：Mem4Act的整体架构包括三个主要模块：多粒度时间聚合模块、问答监督模块和记忆优先的两阶段训练。多粒度时间聚合用于组织历史信息，问答监督用于保留语义和感知信息，而记忆优先训练则鼓励策略更多地依赖于记忆。

关键创新：Mem4Act的主要创新在于其固定大小的潜在记忆表示，能够有效覆盖长历史，同时通过问答监督和特征重建保留重要信息。这与现有方法的动态历史表示形成鲜明对比。

关键设计：在设计中，Mem4Act采用了特定的损失函数来平衡记忆的保留与策略的依赖性，使用关键帧DINO特征重建来增强感知信息的保留，并通过两阶段训练优化策略的记忆使用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mem4Act在RoboMME、RMBench和四个真实世界操控任务中分别取得了49.88%、61.0%和81.5%的成功率，显著优于现有基线，展示了其在记忆依赖控制中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人和自动化系统等需要长时间操控的场景。通过优化记忆的使用，Mem4Act能够提升机器人在复杂任务中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Long-horizon robotic manipulation fundamentally requires memory: agents must retain task-relevant information from past observations and interactions and use it to guide future actions. Existing approaches typically preserve raw historical observations, compressed visual tokens, or language summaries, but these representations either expose the action policy to increasingly long histories or risk discarding task-relevant temporal, semantic, and perceptual information. We introduce Mem4Act, a framework for learning effective latent memory as a fixed-size representation explicitly optimized for long-horizon robotic control. Mem4Act addresses three coupled challenges: how to efficiently cover long histories, what information memory should retain, and how to ensure the policy actually relies on memory. To this end, it organizes history via multi-granularity temporal aggregation, preserves complementary semantic and perceptual information through question-answering supervision and key-frame DINO feature reconstruction, and employs memory-first two-stage training to encourage greater use of memory by the action policy. The resulting memory captures both high-level task state and fine-grained perceptual evidence while providing a bounded interface to the action policy. Across RoboMME, RMBench, and four real-world manipulation tasks, Mem4Act achieves state-of-the-art performance on memory-dependent control, with success rates of 49.88%, 61.0%, and 81.5%, respectively. Extensive ablations further demonstrate the importance of temporal aggregation, complementary memory supervision, and memory-first training.