ReCAT: Remember, Count, and Time: Structured Recurrent Memory for Robot Manipulation
作者: Pankhuri Vanjani, Mostafa Hatab, Can Mizrakli, Vaisakh Shaj, Zhuoyue Li, Moritz Reuss, Rudolf Lioutikov
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-09-28
备注: 9 pages, 3 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ReCAT以解决机器人操控中的记忆依赖问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操控 记忆依赖 递归记忆 语言条件策略 流匹配Transformer 任务成功率 历史信息整合
📋 核心要点
- 现有方法在处理记忆依赖的操控任务时，往往无法有效利用历史信息，导致决策能力受限。
- ReCAT通过结构化递归记忆和语言条件策略，能够有效整合当前观察和历史信息，从而提升机器人操控能力。
- 实验结果显示，ReCAT在多个任务中表现优异，尤其在真实机器人任务中，相较于基线显著提升了成功率。
📝 摘要（中文）
记忆依赖的操控要求机器人在缺乏当前传感器信息的情况下做出决策，例如回忆早期的视觉提示、跟踪任务进展、计数重复事件或估计经过时间。本文提出了ReCAT，一种具有结构化递归记忆的语言条件策略。该方法通过Mamba-2层和一个因果注意力层整合观察流，并通过流匹配Transformer解码器读取当前和历史表示。ReCAT在LIBERO上达到95.3%的平均成功率，在RMBench上达到62.4%，在九个任务中六个任务取得最佳或并列最佳结果。对于三项真实机器人任务，ReCAT变体的平均成功率为66.7%，而最强的短历史基线仅为8.3%。
🔬 方法详解
问题定义：本论文旨在解决机器人操控中对历史信息的依赖问题，现有方法在处理记忆依赖任务时常常无法有效利用过去的信息，导致决策能力不足。
核心思路：ReCAT的核心思路是通过结构化递归记忆和语言条件策略，整合当前观察与历史信息，从而提升机器人在操控任务中的表现。这样的设计使得机器人能够在缺乏实时传感器信息时，仍然能够做出合理的决策。
技术框架：ReCAT的整体架构包括一个指令条件编码器、Mamba-2层的递归记忆模块和一个流匹配Transformer解码器。编码器负责从当前观察中提取特征，递归记忆模块整合观察流，而解码器则通过交叉注意力机制读取当前和历史表示。
关键创新：ReCAT的主要创新在于其结构化递归记忆的设计，能够有效处理记忆依赖的操控任务。与现有方法相比，ReCAT在整合历史信息方面表现更为出色，尤其是在复杂任务中。
关键设计：在参数设置上，ReCAT采用了Mamba-2层和因果注意力层的组合，确保了信息的有效整合。此外，实验中还发现，针对序列建模的更新规则在机器人记忆中表现出不同的效果，添加更新在计数和计时任务中表现最佳，而增量更新则在空间回忆任务中效果更佳。
🖼️ 关键图片
📊 实验亮点
ReCAT在LIBERO和RMBench上分别达到了95.3%和62.4%的平均成功率，且在九个任务中六个任务取得最佳或并列最佳结果。在真实机器人任务中，ReCAT变体的平均成功率为66.7%，显著高于最强短历史基线的8.3%，展示了其在记忆依赖操控任务中的优越性能。
🎯 应用场景
ReCAT的研究成果在机器人操控领域具有广泛的应用潜力，尤其是在需要记忆和推理的复杂任务中，如人机协作、自动化生产线和智能家居等场景。通过提升机器人对历史信息的利用能力，ReCAT能够显著改善机器人在动态环境中的决策能力，推动智能机器人技术的发展。
📄 摘要（原文）
Memory-dependent manipulation requires robots to make decisions using information that is no longer available to their current sensors, such as recalling an earlier visual cue, tracking task progress, counting repeated events, or estimating elapsed time. We present ReCAT, a language-conditioned policy with structured recurrent memory. An instruction-conditioned encoder forms features from the current observation. A recurrent memory integrates the observation stream through Mamba-2 layers and one causal attention layer. A flow-matching Transformer decoder reads the current and the historical representation through separate cross-attention in every block. ReCAT reaches 95.3\% average success on LIBERO and 62.4\% on RMBench, with the best or tied-best result on six of nine tasks. On three real-robot tasks probing spatial recall, event counting, and interval timing, the best ReCAT variant reaches 66.7\% average success, against 8.3\% for the strongest short-history baseline. Controlled comparisons within ReCAT show that the observation encoder and every-block memory conditioning are needed for this performance. They also show that update rules developed for efficient sequence modeling behave differently as robot memory: additive updates have the highest observed success on counting and timing, and delta-rule updates on spatial recall. Project website is at https://intuitive-robots.github.io/ReCAT