T2-z: Test-Time Optimization of Environment Latents for Robotic World Models
作者: Chenyuan Zhou, Yining Hong, Huang Huang, Yunfan Jiang, Wenlong Huang, David Held, Vitor Campagnolo Guizilini, Yue Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Yejin Choi
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出T2-Z以优化机器人世界模型中的环境潜变量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 环境潜变量 机器人世界模型 自适应学习 动作预测 测试时优化 深度学习 动态环境
📋 核心要点
- 现有方法在环境因素的建模上存在不足，无法有效处理不可观察的环境变量，导致预测精度低。
- T2-Z通过引入可学习的环境潜变量，优化机器人世界模型，使其能够自适应不同的环境配置。
- 实验表明，T2-Z将物体预测误差从15.20降低到7.00，动作成功率从33.73%提升至72.96%。
📝 摘要（中文）
预测世界对动作的反应不仅依赖于可见信息，机器人还需考虑不可直接观察或明确指定的环境因素。本文提出T2-Z，通过学习环境潜变量来增强机器人世界模型，从而改善世界预测。T2-Z在训练阶段交替进行世界模型优化和环境潜变量优化，允许潜变量结构通过世界预测自发形成。在测试阶段，模型保持不变，新的环境潜变量通过测试时的交互进行优化，适应未见过的环境配置。实验结果显示，T2-Z在七个模拟设置和四个真实机器人任务中显著降低了物体预测误差，并提高了动作成功率。
🔬 方法详解
问题定义：本文旨在解决机器人在执行动作时对环境反应的预测问题，现有方法无法有效建模不可观察的环境因素，导致预测精度不足。
核心思路：T2-Z通过引入可学习的环境潜变量，增强世界模型的适应性，使其能够在测试时根据实际交互优化潜变量，从而提高预测准确性。
技术框架：T2-Z的整体架构分为两个阶段：首先是世界模型优化阶段，固定潜变量以学习一般的动作条件动态；其次是环境潜变量优化阶段，冻结世界模型并优化潜变量。
关键创新：T2-Z的主要创新在于其能够在没有监督的情况下，通过世界预测自发形成潜变量结构，与现有方法相比，显著提升了模型的适应能力和预测精度。
关键设计：在训练过程中，T2-Z采用交替优化策略，使用特定的损失函数来平衡世界模型和潜变量的学习，同时在测试阶段通过少量的交互轨迹高效推断环境潜变量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，T2-Z在七个模拟环境和四个真实机器人任务中，物体预测误差从15.20降低至7.00，动作成功率从33.73%提升至72.96%。这些结果表明T2-Z在处理复杂环境时的有效性和优越性。
🎯 应用场景
该研究在机器人控制、自动驾驶、智能制造等领域具有广泛的应用潜力。通过优化环境潜变量，机器人能够更好地适应动态和复杂的环境，提高任务执行的成功率和效率，未来可能推动更智能的自主系统的发展。
📄 摘要（原文）
Predicting how the world responds to an action requires more than what can be seen: robots must account for environmental factors that are neither directly observable nor explicitly specified, from physical properties such as friction and mass to human-defined environmental rules. We introduce T2-Z for test-time optimization of environment latents, which augments a robotic world model with a learnable environment latent to condition world predictions. This compact latent captures underlying environmental variation without supervision of what environmental factors exist or what values they take. During training, T2-Z alternates between two stages: a world-model optimization stage that fixes the latents and learns general action-conditioned dynamics across environments; and an environment-latent optimization stage that freezes the world model and optimizes the conditioning latents, allowing latent structure to emerge purely through world prediction. At test time, the world model remains frozen and a newly initialized environment latent is optimized from one or more test-time interactions, adapting the model to previously unseen environmental configurations. Across 7 simulated settings and 4 real-world robotic tasks, T2-Z reduces object prediction error metric from 15.20 to 7.00 and raises action success from 33.73% to 72.96%. Its emergent latents capture structured representations of individual and compounded factors across diverse visual scenes. Ablations further show that T2-Z can efficiently infer environment latents from as little as a single test-time interaction trajectory.