RoboTTT: Context Scaling for Robot Policies
作者: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-07-16
备注: Project website: http://research.nvidia.com/labs/gear/robottt/
💡 一句话要点
提出RoboTTT以扩展机器人策略的上下文规模
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间上下文 测试时训练 机器人策略 视觉运动 多阶段任务 性能提升 快速权重
📋 核心要点
- 现有机器人策略模型在处理上下文时受限于单步或短历史，限制了其能力和适应性。
- RoboTTT通过将上下文扩展至8000个时间步，结合测试时训练，提升了机器人在复杂任务中的表现。
- 在真实机器人操作任务中，RoboTTT的整体性能比单步上下文基线提高了87%，并成功完成了前所未有的五分钟十阶段组装任务。
📝 摘要（中文）
近年来的机器人基础模型通常仅处理单步或短历史的视觉运动上下文。本文提出了测试时训练机器人策略（RoboTTT），一种能够将视觉运动上下文扩展到8000个时间步的机器人模型和训练方案，超越了现有技术三倍而不增加推理延迟。在这一上下文长度下，我们解锁了新的机器人能力：从人类视频演示中进行一次性上下文模仿、即时策略改进、对扰动的鲁棒性，以及在多阶段、长时间任务上的更强表现。我们首次观察到，随着预训练上下文长度的增加，闭环性能稳步提升。
🔬 方法详解
问题定义：现有的机器人基础模型在处理视觉运动上下文时，通常只能依赖于单步或短期历史，导致其在复杂任务中的表现受限，无法充分利用长时间上下文信息。
核心思路：RoboTTT的核心思路是将测试时训练（Test-Time Training）集成到机器人基础模型中，通过扩展上下文长度至8000个时间步，提升机器人在多阶段任务中的能力和鲁棒性。
技术框架：RoboTTT的整体架构包括一个序列模型，其递归状态由快速权重组成，这些参数在训练和推理过程中通过梯度下降进行更新。该框架结合了序列动作强制和截断时间反向传播，以有效扩展训练上下文长度。
关键创新：RoboTTT的主要创新在于其将上下文长度作为机器人基础模型的新扩展轴，首次实现了在长时间上下文下的稳步性能提升，显著超越了现有方法。
关键设计：在关键设计方面，RoboTTT采用了快速权重更新机制，结合了适当的损失函数和网络结构，以确保在长时间上下文条件下的有效学习和推理。
🖼️ 关键图片
📊 实验亮点
在实验中，RoboTTT在真实机器人操作任务中表现出色，整体性能比单步上下文基线提高了87%。此外，RoboTTT成功完成了一个前所未有的五分钟、十阶段的组装任务，显示出其在长时间上下文处理上的显著优势。
🎯 应用场景
RoboTTT的研究成果在多个领域具有潜在应用价值，包括工业自动化、服务机器人以及人机交互等。通过提升机器人在复杂任务中的表现，RoboTTT能够推动智能机器人在实际应用中的普及和发展，改善人类与机器的协作效率。
📄 摘要（原文）
Recent robot foundation models operate with single-step or short-history visuomotor context. We introduce Test-Time-Training Robot Policies (RoboTTT), a robot model and training recipe that scale visuomotor context to 8K timesteps, three orders of magnitude beyond state-of-the-art policies, without growing inference latency. At this context length, we unlock new robot capabilities: one-shot in-context imitation from human video demonstrations, on-the-fly policy improvement, robustness to perturbations, and stronger performance on multi-stage, long-horizon tasks. We also observe, for the first time, steady gains in closed-loop performance as pretraining context length scales. At its core, RoboTTT integrates Test-Time Training into robot foundation models such as Vision-Language-Action policies, yielding a sequence model whose recurrent state consists of fast weights, parameters updated by gradient descent during both training and inference, compressing histories into weight space and retrieving contextual information for long-context conditioning. To scale training context length, the recipe combines sequence action forcing with truncated backpropagation through time. On challenging real-robot manipulation tasks, RoboTTT improves overall performance by 87% over the single-step context baseline and fully completes a five-minute, ten-stage assembly task, which no baseline ever does. RoboTTT trained with 8K-timestep context outperforms the same model pretrained with 1K timesteps by 62%, suggesting context length as a new scaling axis for robot foundation models. Videos are available at https://research.nvidia.com/labs/gear/robottt/