LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models

📄 arXiv: 2610.21362v1 📥 PDF

作者: Qixin Sun, WenLong Gao, Xiansheng Chen, Zhongyuan Wang, Si Liu, Pengwei Wang

分类: cs.RO, cs.AI

发布日期: 2026-10-15

备注: Dataset & Code: https://github.com/buaa-colalab/LTM-pi

💡 一句话要点

提出潜在转移记忆以解决机器人操控中的记忆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在转移记忆 机器人操控 增量推理 多模态学习 历史记忆

📋 核心要点

  1. 现有方法在机器人操控中难以有效记住不可见的交互历史，限制了其操作能力。
  2. 本文提出潜在转移记忆（LTM），通过存储潜在转移来实现对历史交互的有效记忆，增强机器人操控能力。
  3. LTM-$π$在多个基准测试中表现优异，成功率显著提升，尤其是在RoboMME和LIBERO-Mem任务中。

📝 摘要（中文）

机器人操控常常需要记住不可见的交互历史。本文提出了潜在转移记忆（LTM），通过存储连续观察之间的紧凑潜在转移来实现。LTM-$π$方法在$π_{0.5}$上实例化，使用冻结的潜在动作编码器、轻量级适配器和因果KV缓存进行增量推理，无需特定于记忆的语义注释或外部推理模型调用。通过DreamDojo转移，LTM-$π$在RoboMME上取得58.54%的成功率，在LIBERO-Mem上达到80.5%，在没有外部推理模型或特定注释的情况下表现最佳。消融实验支持转移内容超越时间线索的贡献及延迟记忆接纳的效率。将RoboMME演示扩大十倍，成功率从57.67%提升至87.50%。

🔬 方法详解

问题定义：本文旨在解决机器人操控中对不可见交互历史的记忆问题。现有方法往往依赖于显式的记忆结构，导致效率低下和灵活性不足。

核心思路：提出潜在转移记忆（LTM），通过紧凑的潜在转移表示历史交互，避免了对外部推理模型和特定注释的依赖，从而实现高效的增量推理。

技术框架：LTM-$π$方法包括三个主要模块：冻结的潜在动作编码器、轻量级适配器和因果KV缓存。该框架支持在有限的上下文中进行增量推理，能够有效处理复杂的时间信息。

关键创新：LTM的核心创新在于其潜在转移的表示方式，能够超越传统的时间线索，提供更丰富的历史交互信息。这一设计使得机器人在执行任务时能够更好地利用历史数据。

关键设计：在模型设计中，采用了轻量级适配器以减少计算开销，并通过因果KV缓存实现高效的记忆访问。消融实验表明，转移内容的有效性和延迟记忆接纳的设计显著提升了模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboMME基准测试中，LTM-$π$的成功率达到58.54%，而在LIBERO-Mem上更是高达80.5%。通过将RoboMME演示扩大十倍，成功率从57.67%提升至87.50%。在真实机器人计数任务中，成功率从11.25%提升至82.50%，展示了该方法的有效性和可扩展性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要复杂交互记忆的机器人操控任务中，如家庭服务机器人、工业自动化和无人驾驶等领域。通过提高机器人对历史交互的记忆能力，能够显著提升其自主决策和执行任务的能力，推动智能机器人技术的发展。

📄 摘要（原文）

Robotic manipulation often requires remembering interactions that are no longer visible. We introduce Latent Transition Memory (LTM), which stores history as compact latent transitions between consecutive observations. Instantiated on $π_{0.5}$ as LTM-$π$, our method uses a frozen latent action encoder, a lightweight adapter, and causal KV caching for incremental inference without memory-specific semantic annotations or external reasoning-model calls. With DreamDojo transitions, LTM-$π$ achieves 58.54% success on RoboMME and 80.5% on LIBERO-Mem, performing best among baselines without external reasoning models or memory-specific annotations. Ablations support the contribution of transition content beyond temporal cues and the efficiency of delayed memory admission. Scaling RoboMME demonstrations tenfold improves success from 57.67% to 87.50%, while a Cup Swap diagnostic highlights the role of process supervision in temporal composition. Under a 200-token memory budget, success remains 84.00%, versus 87.50% without compression. Finally, real-robot counting success improves from 11.25% to 82.50%. Together, these results demonstrate the effectiveness, scalability, and efficiency of latent transition memory, highlighting its capacity for complex temporal information, bounded-context operation, and real-world robotic control.