TEMPO: Learning Temporal Context for Dynamic Robot Manipulation

📄 arXiv: 2609.16864v1 📥 PDF

作者: Zhenyang Feng, Jimin Heo, Erik B. Sudderth, Unnat Jain

分类: cs.RO, cs.CV, cs.LG

发布日期: 2026-09-15

备注: Accepted at CoRL 2026. Project page: https://tempo-robot.github.io/

💡 一句话要点

提出TEMPO以解决动态机器人操作中的时间上下文缺失问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态操作 时间上下文 视觉-语言-动作 机器人感知 运动摘要 状态混淆 本体历史 模型增强

📋 核心要点

  1. 现有的视觉-语言-动作模型在动态操作任务中表现不佳，主要由于缺乏时间上下文，导致运动模糊和状态混淆问题。
  2. TEMPO通过引入运动摘要和本体历史，增强了模型的时间感知能力，从而解决了运动模糊和状态混淆的问题。
  3. 在四个动态操作任务中，TEMPO显著提高了瓶子交接的成功率，从44%提升至74%，并有效解决了状态混淆问题。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在准静态操作中表现出色，但在动态操作任务中面临挑战，主要由于其在推理时仅依赖单一观察。本文识别出导致这一限制的两个表现性缺陷：运动模糊和状态混淆。为了解决这些问题，本文提出了TEMPO，通过引入运动摘要和紧凑的本体历史来增强预训练的VLA模型。TEMPO在四个动态操作任务中显著提升了瓶子交接成功率，从44%提高到74%，并且是唯一解决状态混淆的方法。此外，研究还发布了TEMPO-Bench，一个包含超过50,000个注释帧的基准，用于评估运动感知机器人感知能力。

🔬 方法详解

问题定义：本文旨在解决动态机器人操作中由于缺乏时间上下文而导致的运动模糊和状态混淆问题。现有的VLA模型在推理时仅依赖单一观察，无法有效处理动态场景。

核心思路：TEMPO通过引入两个时间输入：从冻结视频基础模型提取的运动摘要和紧凑的本体历史，来增强模型的时间感知能力。这种设计旨在解决运动模糊和状态混淆问题，而不需要修改模型的主干结构。

技术框架：TEMPO的整体架构包括两个主要模块：运动摘要模块和本体历史模块。运动摘要模块负责提取场景的动态信息，而本体历史模块则记录机器人在任务中的状态变化。

关键创新：TEMPO的主要创新在于其引入的两个时间信号，分别针对运动模糊和状态混淆问题。这一方法与现有模型的本质区别在于其关注时间上下文，而不仅仅是单一观察。

关键设计：在设计上，TEMPO无需对现有的VLA模型进行修改，且在训练和部署时增加的计算开销极小。模型的损失函数和参数设置经过精心调整，以确保两个时间输入的有效融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TEMPO在四个动态操作任务中表现出色，特别是在瓶子交接任务中，成功率从44%提升至74%。此外，TEMPO是唯一有效解决状态混淆问题的方法，显示出其在动态机器人操作中的独特优势。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、物品传递和复杂环境中的动态交互等。通过提高机器人在动态场景中的操作能力，TEMPO能够在工业自动化、服务机器人和智能家居等领域发挥重要作用，推动机器人技术的进一步发展。

📄 摘要（原文）

Vision-language-action (VLA) models have achieved impressive performance in quasi-static manipulation, but struggle in dynamic manipulation tasks because they operate on a single observation at inference time. We identify two representational failures that underlie this limitation. The first is motion ambiguity, where a single observation does not include scene dynamics and therefore cannot anticipate the future state of moving objects. The second is state aliasing, where visually similar observations from different points in a task require different actions. We argue that these failures persist regardless of model scale and inference latency, showing that the bottleneck is missing temporal context rather than model capacity. Based on this insight, we propose TEMPO, which augments a pretrained VLA with two temporal inputs: a motion summary extracted from a frozen video foundation model to resolve motion ambiguity and a compact proprioceptive history to resolve state aliasing. TEMPO requires no modification to the backbone and adds minimal compute overhead at training or deployment. Across four dynamic manipulation tasks, it improves Bottle Handover success from 44% to 74% and is the only method that solves state aliasing. Probing and ablation studies confirm that each temporal signal independently addresses its corresponding failure. We further release TEMPO-Bench, a benchmark of over 50k annotated frames for evaluating motion-aware robot perception in both regression and multiple-choice formats. Project Website: https://tempo-robot.github.io/