TTT in VLA Models: Exploring Training with Human Demonstrations
作者: Qiangong Zhou, Jiafeng Liang, Yimin Dong, Yang He, Hongxiang Li
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-10-23
备注: 22 pages, 6 figures, a techreport form standard-robots company
💡 一句话要点
结合人类示范的测试时训练方法提升机器人任务执行能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务 测试时训练 人类示范 机器人学习 动作生成 记忆转移 对比正则化
📋 核心要点
- 长时间的机器人任务面临信息保留和利用的挑战，现有方法在处理人类示范时存在不足。
- 本文提出将测试时训练（TTT）集成到机器人模型中，通过配对示范和轨迹训练来改善动作生成能力。
- 实验结果显示，尽管添加TTT，但在当前设置下并未显著改善机器人对示范的响应性，特别是在单帧提示下。
📝 摘要（中文）
长时间的机器人任务需要保留和使用过去的信息。本文将测试时训练（TTT）集成到InternVLA-A1和Pi0.5模型中，研究基于人类示范的动作生成。通过对配对示范和机器人轨迹的训练，我们实现了两个阶段之间的记忆转移和截断反向传播，并考察了训练目标、梯度覆盖和对比正则化在视频、短视频和单帧提示任务中的表现。实验结果表明，添加TTT和在当前规模下的配对数据训练并未导致基于示范的一致目标选择。在测试设置下，较短的序列、完整的轨迹梯度连接和对比正则化未明显提高对示范的响应性。即使在示范减少到单帧提示时，真实机器人执行仍偏好固定位置的杯子。我们记录了实施、训练配置和观察结果，以支持进一步的检查和复制。
🔬 方法详解
问题定义：本文旨在解决长时间机器人任务中如何有效利用人类示范的问题。现有方法在处理示范时未能有效保持上下文信息，导致目标选择不一致。
核心思路：通过集成测试时训练（TTT），在模型中引入快速权重存储上下文信息，从而改善基于人类示范的动作生成。这样的设计旨在增强模型对历史信息的利用能力。
技术框架：整体架构包括两个主要阶段：第一阶段是通过配对示范和机器人轨迹进行训练，第二阶段是执行时利用TTT进行实时调整。主要模块包括记忆转移和截断反向传播。
关键创新：最重要的创新在于将TTT与机器人模型结合，利用快速权重实现上下文记忆的转移。这与传统方法的静态权重更新方式形成了本质区别。
关键设计：在训练过程中，采用了特定的损失函数和对比正则化策略，确保模型在不同任务（视频、短视频、单帧提示）中的表现一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管引入了TTT和配对数据训练，但在当前设置下，机器人对示范的响应性并未显著提高。特别是在单帧提示的情况下，机器人仍偏好固定位置的目标，未能实现预期的灵活性和适应性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、自动化制造和服务机器人等。通过提升机器人对人类示范的响应能力，可以在复杂环境中实现更高效的任务执行，未来可能推动智能机器人在家庭、医疗和工业等多个领域的广泛应用。
📄 摘要（原文）
Long-horizon robot tasks require retaining and using past information. We integrate Test-Time Training (TTT), which stores context in fast weights, into InternVLA-A1 and Pi0.5 to study action generation conditioned on human demonstrations through training on paired demonstrations and robot trajectories. We implement memory transfer between the two phases and truncated backpropagation, and examine training objectives, gradient coverage, and contrastive regularization across video, short-video, and single-frame cue tasks. In our experiments, adding TTT and training on paired data at the current scale did not lead to consistent target selection based on demonstrations. Under the tested settings, shorter sequences, full trajectory gradient connectivity, and contrastive regularization did not clearly improve responsiveness to demonstrations. When demonstrations were reduced to single-frame cues, real-robot execution still showed a preference for cups at fixed positions. We document the implementation, training configurations, and observations to support further inspection and replication.