DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving

📄 arXiv: 2610.17903v1 📥 PDF

作者: Shuzheng Wang, Haoxuan Li, Shengzhen Li, Chenxi Wu, Yajing Sun, Lu Hou, Wenyu Liu, Xinggang Wang

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-10-13

备注: 17 pages, 4 figures

💡 一句话要点

提出DriveWLA以统一未来动态与场景语义，解决自主驾驶轨迹生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 轨迹生成 语义理解 未来动态 强化学习 多模态融合 世界模型

📋 核心要点

  1. 现有方法在将语义理解与未来动态预测有效结合以生成轨迹方面存在挑战。
  2. 论文提出DriveWLA，通过混合变换器模型联合建模语义理解、未来场景动态和轨迹生成。
  3. DriveWLA在NAVSIM v1和NAVSIM v2上分别取得92.3和90.1的PDMS，展现出强大的性能和零-shot泛化能力。

📝 摘要（中文）

视觉-语言模型（VLMs）和世界模型在自主驾驶的语义理解和未来场景演变方面展现了强大的能力。然而，将这两种能力有效整合以实现轨迹生成仍然具有挑战性。本文提出了DriveWLA，一个基于混合变换器（Mixture-of-Transformers, MoT）的统一世界-语言-行动模型，联合建模语义理解、未来场景动态和轨迹生成。DriveWLA由三个专家组成：用于未来预测的世界专家、用于语义理解的语言专家和用于轨迹生成的行动专家。我们进一步引入了跨专家注意力机制，以控制信息流动并对齐语义和动态表示。通过在后期训练中应用Flow-GRPO强化学习来优化行动专家，DriveWLA在开放环和闭环评估中表现优异，验证了其作为自主驾驶通用框架的有效性。

🔬 方法详解

问题定义：本文旨在解决如何有效整合语义理解与未来动态预测以生成自主驾驶轨迹的问题。现有方法在这方面的结合不足，导致轨迹生成的准确性和可靠性较低。

核心思路：DriveWLA通过构建一个统一的世界-语言-行动模型，结合三种专家（世界专家、语言专家和行动专家），实现对未来场景的全面理解与预测，从而提升轨迹生成的能力。

技术框架：DriveWLA的整体架构包括三个主要模块：世界专家负责未来场景预测，语言专家进行语义理解，而行动专家则专注于轨迹生成。此外，跨专家注意力机制用于协调信息流动，确保语义与动态表示的对齐。

关键创新：DriveWLA的主要创新在于其混合变换器架构和跨专家注意力机制，这使得不同专家之间的信息流动更加高效，显著提升了轨迹生成的性能，与现有方法相比具有本质的区别。

关键设计：在设计中，采用了Flow-GRPO强化学习进行后期训练，以优化行动专家的性能。此外，模型的损失函数和网络结构经过精心设计，以确保各个模块的有效协作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DriveWLA在NAVSIM v1和NAVSIM v2上分别取得92.3和90.1的PDMS，显示出其在开放环和闭环评估中的优越性能。此外，DriveWLA在没有特定微调的情况下，展现出对HUGSIM、nuScenes和Bench2Drive的强大零-shot泛化能力，验证了其通用性。

🎯 应用场景

DriveWLA的研究成果在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统在复杂场景下的决策能力和安全性。未来，该模型可扩展到其他需要语义理解与动态预测结合的领域，如智能交通管理和机器人导航等。

📄 摘要（原文）

Vision-Language Models (VLMs) and world models have demonstrated strong capabilities in semantic understanding and future scene evolution for autonomous driving. However, effectively integrating both capabilities for trajectory generation remains challenging. In this work, we propose DriveWLA, a unified World-Language-Action model based on Mixture-of-Transformers (MoT) that jointly models semantic understanding, future scene dynamics, and trajectory generation. DriveWLA consists of three experts: a World Expert for future prediction, a Language Expert for semantic understanding, and an Action Expert for trajectory generation. We further introduce Cross-Expert Attention, which enables controlled information flow across experts while aligning semantic and dynamic representations. To improve trajectory generation beyond imitation learning, we apply Flow-GRPO reinforcement learning post-training to refine the Action Expert. Extensive experiments show that DriveWLA achieves superior performance in both open-loop and closed-loop evaluation. DriveWLA achieves 92.3 PDMS on NAVSIM v1 and 90.1 EPDMS on NAVSIM v2, demonstrating strong performance among VLM-based and world-model-based planners. Without specific fine-tuning, DriveWLA further demonstrates strong zero-shot generalization to HUGSIM, nuScenes, and Bench2Drive. These results validate the effectiveness of our unified World-Language-Action modeling, establishing DriveWLA as a generalizable framework for autonomous driving.