SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

📄 arXiv: 2610.13781v1 📥 PDF

作者: Changhui Jing, Haochen Tian, Hongchen Li, Tianyu Li, Caojun Wang, Zihao Zhang, Yanhao Liu, Chengen Xie, Bailin Li, Hao Zhao, Zhenjie Yang

分类: cs.CV

发布日期: 2026-10-09

备注: Project page: https://opendrivelab.com/SimVTA/

💡 一句话要点

提出SimVTA以解决驾驶世界行动模型的视觉监督问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 驾驶模型 轨迹优化 视频监督 仿真技术 强化学习 自动驾驶 智能交通

📋 核心要点

  1. 现有的驾驶世界行动模型在处理未来轨迹时缺乏视觉监督，导致替代轨迹的学习效果不佳。
  2. SimVTA通过结合轨迹优化与视频监督，利用真实世界仿真器生成高奖励候选轨迹的未来视频，提供有效的监督信号。
  3. 在NAVSIM v1上，SimVTA使得PDMS从86.2提升至91.3，显示出显著的性能改进，验证了方法的有效性。

📝 摘要（中文）

驾驶世界行动模型（WAMs）通过配对轨迹和未来观察进行学习。然而，现有的驾驶日志仅包含已记录轨迹的未来视频，导致替代轨迹缺乏视觉监督。为此，本文提出SimVTA，一个基于仿真的后训练框架，结合轨迹优化与视频监督。通过在真实场景中渲染高奖励候选轨迹的未来视频，SimVTA提供了与模型预测无关的轨迹匹配监督。实验结果表明，应用SimVTA后，WAM初始化的PDMS从86.2提升至91.3，显示出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决驾驶世界行动模型在未来轨迹学习中缺乏视觉监督的问题。现有方法依赖于驾驶日志中的视频数据，无法为所有可能的替代轨迹提供相应的视觉信息，限制了模型的学习能力。

核心思路：SimVTA的核心思路是通过仿真生成未来视频，为高奖励候选轨迹提供视觉监督。通过这种方式，模型能够在不依赖自身预测的情况下，获得更丰富的学习信号，从而提升轨迹规划能力。

技术框架：SimVTA的整体架构包括几个主要模块：首先，从观察中采样候选轨迹；其次，利用真实世界的仿真器（如World Engine）渲染这些候选轨迹的未来视频；最后，通过Group Relative Policy Optimization（GRPO）优化轨迹规划，并使用流匹配损失更新共享表示。

关键创新：SimVTA的关键创新在于将轨迹优化与视频监督相结合，提供了一种新的监督方式，显著改善了模型在复杂场景中的表现。这一方法与传统依赖于历史数据的学习方式有本质区别。

关键设计：在设计中，优先考虑高误差的未来轨迹进行视频监督，并在有限的渲染预算下进行优化。此外，流匹配损失的引入使得共享表示的更新更加有效，从而进一步提升了规划性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NAVSIM v1上，SimVTA使得WAM初始化的PDMS从86.2提升至91.3，提升幅度达到5.1。在NAVSIM v2上，模型达到了88.2的EPDMS，并在HUGSIM的闭环评估中获得了38.8的平均HD-Score，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升驾驶模型的轨迹规划能力，SimVTA能够在复杂环境中实现更安全、更高效的自动驾驶决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Driving world action models (WAMs) learn from paired trajectories and future observations. Post-training with reinforcement learning allows the policy to explore alternative trajectories and improve planning using driving rewards. However, driving logs contain future videos only for the recorded trajectories, leaving these alternatives without corresponding visual supervision. Thus, we introduce SimVTA, a simulation-grounded post-training framework that combines trajectory optimization with video supervision. First, we sample candidate trajectories for each observation and use a real-world simulator (e.g., World Engine) to render future videos for high-reward candidates in real-world scenes reconstructed with 3D Gaussian Splatting (3DGS). This provides trajectory-matched supervision independent of the model's own predictions. Under a limited rendering budget, we prioritize video supervision for higher-error futures among these rendered candidates. Finally, we optimize trajectory planning with Group Relative Policy Optimization (GRPO) and use a flow-matching loss on the matched videos to update shared representations. At inference time, the model predicts trajectories directly, without simulator calls. On NAVSIM v1, applying SimVTA to a WAM initialization improves PDMS from 86.2 to 91.3 (+5.1). It achieves 88.2 EPDMS on NAVSIM v2 and an average HD-Score of 38.8 in closed-loop evaluation on HUGSIM. Ablations show that updating shared representations with video supervision improves planning, while prioritizing higher-error futures among high-reward trajectories further improves performance.