T$^2$Mem: Learning Test-Time Memory for Robotics

📄 arXiv: 2609.36720v1 📥 PDF

作者: Yize Liu, Huang Huang, Yining Hong, Zijian Du, Zhi Cao, Li Fei-Fei, Jiajun Wu

分类: cs.RO

发布日期: 2026-09-29

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出T$^2$Mem以解决机器人记忆依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操控 记忆机制 自监督学习 视觉-语言融合 测试时训练

📋 核心要点

  1. 现有的机器人操控方法在处理历史信息时存在不足，无法有效利用过去的观察来支持未来的决策。
  2. T$^2$Mem框架通过测试时训练，利用自监督学习将观察历史编码为快速权重，从而实现记忆的高效利用。
  3. 在16个RoboMME任务中，T$^2$Mem显著提升了成功率，并在推理速度上优于传统的递归记忆方法。

📝 摘要（中文）

记忆依赖的机器人操控需要策略利用当前观察中不可用的信息。仅仅保留历史信息是不够的：记忆必须保留支持未来行动的信息。本文提出T$^2$Mem框架，旨在无需外部记忆支持的情况下，通过预训练的视觉-语言-行动策略学习保留和利用历史信息。T$^2$Mem采用测试时训练，通过在线自监督更新将观察历史编码为紧凑的快速权重，从而避免对完整历史的重复处理。观察基础接口提取视觉-语言信息以形成记忆，并为行动专家提供检索的上下文。行动监督塑造记忆的学习内容，而交替的记忆-策略学习则在优化过程中为每个组件提供固定的对应关系。在16个RoboMME任务中，T$^2$Mem将平均成功率从17.93%提升至56.83%，并超越了基准中报告的递归记忆方法，同时控制性分析显示其推理速度至少比显式方法快3倍。

🔬 方法详解

问题定义：本文旨在解决机器人在操控任务中如何有效利用历史信息的问题。现有方法往往依赖外部记忆支持，导致信息利用不充分。

核心思路：T$^2$Mem通过测试时训练的方式，利用在线自监督更新将历史观察信息编码为紧凑的快速权重，从而实现高效的记忆利用。

技术框架：T$^2$Mem框架包括观察基础接口、记忆形成模块和行动专家模块。观察基础接口负责提取视觉-语言信息，记忆形成模块则将这些信息编码为快速权重，行动专家模块利用这些权重进行决策。

关键创新：T$^2$Mem的创新在于其无需外部记忆支持，能够通过自监督学习在预训练的基础上有效保留和利用历史信息，显著提升了机器人操控的性能。

关键设计：在设计中，T$^2$Mem采用了在线自监督更新机制，确保快速权重的实时更新，同时通过交替的记忆-策略学习优化每个组件的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，T$^2$Mem在16个RoboMME任务中的平均成功率从17.93%提升至56.83%，相较于无记忆基础策略有显著改善。此外，T$^2$Mem在推理速度上至少比显式方法快3倍，展示了其在效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和人机交互系统等。通过提升机器人在复杂环境中的决策能力，T$^2$Mem能够为实际操作提供更高的灵活性和效率，推动智能机器人技术的进一步发展。

📄 摘要（原文）

Memory-dependent robotic manipulation requires policies to use information that is no longer available in the current observation. Retaining history alone is insufficient: memory must preserve information that supports future actions. One challenge is whether a memory-free foundation model can learn to retain and use historical information from action demonstrations alone, without external memory support. We introduce T$^2$Mem, a framework that develops this capability within a pretrained vision-language-action policy, without external reasoning models or memory-specific annotations. T$^2$Mem uses test-time training to encode observation history into compact fast weights through online self-supervised updates, avoiding repeated processing of the full history. An observation-grounded interface extracts vision-language information for memory formation and supplies retrieved context to the action expert. Action supervision shapes what the memory learns to retain and use, while alternating memory-policy learning gives each component a fixed counterpart during optimization. Across 16 RoboMME tasks, T$^2$Mem improves average success from 17.93% to 56.83% over the memory-free base policy and outperforms the recurrent-memory methods reported in the benchmark, while controlled profiling indicates at least 3x inference speedup over explicit methods. Project website: https://yzliu84.github.io/T2MEM-project/