DRILL: Training World Models to Improve Policies, Not Predict Pixels

📄 arXiv: 2610.30814v1 📥 PDF

作者: Zhaolu Kang, Tailong Luo, Lei Wei, Guangyuan Dong, Sihan Liu, Yingjie He, Siheng Wang, Shuaibo Li, Rongchao Zhang, Zhen Tian, Richeng Xuan, Zhichao Hu

分类: cs.CV

发布日期: 2026-10-22

备注: NeurIPS 2026

💡 一句话要点

提出DRILL框架以提升政策优化而非像素预测

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 强化学习 策略优化 元学习 视觉-语言-动作 模拟器 政策梯度 深度学习

📋 核心要点

  1. 现有的世界模型通常仅关注像素预测，导致与策略优化目标不匹配，影响最终策略的性能。
  2. 本文提出了DRILL框架，通过最大化策略回报来训练世界模型，强调了策略梯度在模型训练中的重要性。
  3. 实验结果显示，DRILL-IMG在五个操作模拟器上成功率提升了13.1个百分点，相较于现有方法表现更佳。

📝 摘要（中文）

世界模型在减少环境交互方面的应用日益增多，尤其是在使用强化学习进行视觉-语言-动作（VLA）策略后训练时。然而，现有模型通常仅关注像素预测，而忽视了其在生成学习信号以改善策略方面的作用。本文提出的DRILL框架通过优化世界模型以最大化策略回报，显著提高了下游策略的表现。实验结果表明，DRILL-IMG在多个模拟器上提升了成功率，证明了基于策略梯度的世界模型训练的有效性。

🔬 方法详解

问题定义：本文旨在解决现有世界模型在强化学习中仅关注像素预测而忽视策略优化的问题。这种不匹配导致了策略梯度的下降，影响了最终的学习效果。

核心思路：论文提出的DRILL框架通过内层的GRPO更新来优化世界模型，使其能够生成更有利于策略优化的学习信号，而不仅仅是准确的像素预测。

技术框架：DRILL框架包含两个主要实例：DRILL-VWI和DRILL-IMG。DRILL-VWI是一个闭式替代方法，通过政策访问、相对GRPO优势和模型置信度对预测误差进行重加权；而DRILL-IMG则是一个完整的元梯度方法，通过截断的Hessian-向量积进行内层更新的微分。

关键创新：最重要的创新在于将世界模型的训练目标从像素预测转向策略效用，强调了策略梯度在模型训练中的作用。这一转变使得即使在像素均方误差（MSE）更高的情况下，策略性能仍然可以得到提升。

关键设计：DRILL-VWI通过政策访问重加权预测误差，确保模型关注于策略优化的关键区域；而DRILL-IMG则利用元梯度方法，精确计算内层更新的影响，确保训练过程的有效性和稳定性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，DRILL-IMG在五个操作模拟器上平均成功率提升了13.1个百分点，相较于WMPO和7.9个百分点相较于RLVR-World，显示出其在策略优化方面的显著优势。此外，DRILL-IMG与RLVR预训练相辅相成，进一步提升了整体性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要高效策略优化的场景。通过优化世界模型的训练方式，可以在减少环境交互的同时，提高策略的学习效率和效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models are increasingly used to reduce environment interaction when post-training vision-language-action (VLA) policies with reinforcement learning. Yet they are typically trained to predict pixels one step ahead, even though their role here is not merely to render visually faithful videos but to produce learning signals from imagined rollouts that improve the policy. We show that this mismatch is substantial: lower pixel MSE can produce worse policy gradients, and a world model trained for policy utility can yield better downstream policies despite 17% higher pixel MSE on the next frame. We propose the Downstream-Return Imagination Learning Loop (DRILL), a bilevel framework that updates the world model to maximize the policy's return after an inner GRPO update on imagined rollouts. DRILL has two instantiations. DRILL-VWI is a closed-form surrogate, requiring no additional simulator rollouts, that reweights prediction errors by policy visitation, the group-relative GRPO advantage, and model confidence. DRILL-IMG is a full meta-gradient method that differentiates through the inner update using truncated Hessian-vector products. We show that DRILL-VWI recovers the local one-step component of the DRILL-IMG meta-gradient under score-compatibility and small-residual assumptions. Across five manipulation simulators and two VLA backbones, DRILL-IMG raises mean success rate by 13.1 points over WMPO and 7.9 points over RLVR-World, and complements RLVR pretraining rather than competing with it. More broadly, we believe video world models for VLA reinforcement learning can be productively trained by the policy gradients they produce, not only by pixel-level prediction.