Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies
作者: Trung Dao, Sankalp Yamsani, Jaden Park, Joohyung Kim, Yong Jae Lee
分类: cs.RO, cs.CV
发布日期: 2026-09-21
💡 一句话要点
提出通过世界模型蒸馏提升机器人政策的有效性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 世界模型 蒸馏训练 机器人政策 特征对齐
📋 核心要点
- 现有的VLA模型缺乏对环境反应的考虑，导致其鲁棒性受限于数据覆盖，无法有效应对复杂场景。
- 本文提出通过特征对齐将世界模型的知识融入VLA模型中，避免了生成未来的高计算成本。
- 实验结果显示，经过蒸馏的学生模型在LIBERO和RoboCasa-GR1任务上均取得了显著提升，且在实际硬件上表现良好。
📝 摘要（中文）
现有的视觉-语言-行动（VLA）模型在映射观察到行动时缺乏对世界反应的考虑，导致其鲁棒性受限于数据覆盖。世界模型则提供了这一缺失的目标，但其生成未来的过程耗时较长，无法实时应用。本文提出将世界模型的内部特征与VLA模型分离，通过在训练中引入特征对齐项，使得学生模型能够学习到世界模型的知识，而不需要在训练时加载教师模型。实验表明，经过蒸馏的学生模型在多个任务上表现出显著提升，且在实际硬件上也能有效应用。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在决策过程中缺乏对世界反应的考虑，导致其鲁棒性不足的问题。现有方法在处理复杂场景时，往往依赖于大量数据，无法实时生成未来状态。
核心思路：论文提出将世界模型的内部特征与VLA模型的生成过程分离，通过特征对齐的方式，使得学生模型能够学习世界模型的知识，而不需要在训练时使用生成过程。这样设计的目的是为了降低计算成本，同时保留世界模型的有效性。
技术框架：整体架构包括一个冻结的世界模型和一个学生VLA模型。在训练过程中，冻结的世界模型在训练帧上运行并缓存其内部特征，学生模型通过特征对齐学习与缓存一致的表示。
关键创新：最重要的技术创新在于通过特征对齐将世界模型的知识有效地蒸馏到VLA模型中，而不需要在训练时引入额外的教师模型。这一方法显著降低了计算复杂度，同时保持了模型的性能。
关键设计：在训练过程中，特征对齐项被引入作为损失函数，确保学生模型的输出与世界模型的缓存特征一致。实验中使用的学生模型规模为0.8B，且在不同的骨干网络和对齐层上均表现出良好的适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过蒸馏的学生模型在LIBERO任务上达到了97.9%的准确率，并在RoboCasa-GR1任务中从48.2%提升至50.5%。该方法在消费级RTX 5090上运行时间仅为32毫秒，内存占用为1.86GB，显示出良好的性能和效率。
🎯 应用场景
该研究的潜在应用场景包括机器人控制、自动驾驶和智能家居等领域。通过将世界模型的知识有效地融入到决策过程中，可以提升机器人在复杂环境中的适应能力和鲁棒性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vision-Language-Action (VLA) models map observations to actions with no objective that accounts for how the world responds, so their robustness is bounded primarily by data coverage. World models carry precisely that missing objective and are better grounded for it, yet rolling the future forward costs seconds per decision and rules them out of the control loop. We show the two can be separated. What a world model knows about physical scenes lives in its \emph{internal features}; generating the future is merely the objective that produced them, so the grounding can be inherited while the generative machinery is left behind. We add one feature-alignment term to ordinary VLA training: a frozen world model is run over the training frames once and cached, and the student learns to agree with that cache. No teacher is loaded during training, the projector is discarded after it, and the deployed policy is identical to the undistilled baseline, running in $32$~ms and $1.86$~GB on a consumer RTX~5090, so every gain is attributable to the representation rather than to added capacity or test-time compute. A $0.8$B student reaches $97.9\%$ on LIBERO, improves from $48.2\%$ to $50.5\%$ on RoboCasa-GR1 humanoid manipulation, and the same objective carries over to real hardware, on both a single-arm and a bimanual platform. The gain survives changes of student scale, backbone, alignment layer, and teacher, indicating a broad representational prior rather than a fragile alignment between two particular networks. Project page: https://thaw-vla.trung-dt.com/.