SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving

📄 arXiv: 2610.20609v1 📥 PDF

作者: Shaoyuan Xie, Zihan Zhang, Jingxuan Wang, Jiashu Qu, Xiaoqing Liang, Lingdong Kong, Junchi Lu, Henrik I. Christensen, Qi Alfred Chen

分类: cs.RO

发布日期: 2026-10-14

备注: Accepted at CoRL 2026. Project page: https://safedrive-vla.github.io/SafeDriveVLA/

💡 一句话要点

提出SafeDriveVLA以解决自动驾驶中的冲突感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 视觉-语言-动作 冲突感知 导航合规 世界模型梦境 安全性提升 基准测试

📋 核心要点

  1. 现有视觉-语言-动作模型在处理导航指令时存在安全隐患，容易受到不安全或恶意指令的影响。
  2. SafeDriveVLA通过三层导航合规模式的预测，将冲突推理与动作生成解耦，并利用导航条件的世界模型进行指导。
  3. 实验结果显示，SafeDriveVLA在Bench2Drive上取得了显著提升，成功率和驾驶评分均优于现有最佳模型。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在自动驾驶中受到关注，利用大型语言模型的常识先验，扩展导航接口至自由形式的自然语言指令。然而，这种开放式接口带来了新的脆弱性：不专注的驾驶员可能会发出不安全的指令，而恶意用户可能故意发出危险指令。本文提出了第一个评估导航跟随和冲突意识的基准套件，并展示了现有模型在这两个方面的不足。我们提出SafeDriveVLA，这是第一个明确预测三层导航合规模式的驾驶VLA，旨在将冲突推理与动作生成解耦，并使用导航条件的世界模型梦境来指导这一预测。SafeDriveVLA在Bench2Drive上达到了88.16的驾驶评分（DS）和68.64%的成功率（SR），相比最佳SimLingo变体，闭环语言跟随提升了49.3%，在不安全指令下的碰撞数从60减少到38。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中由于不安全指令导致的冲突感知问题。现有的视觉-语言-动作模型在处理复杂指令时，往往无法有效区分安全与不安全的导航指令，导致潜在的安全隐患。

核心思路：SafeDriveVLA的核心思路是通过三层导航合规模式的预测，将冲突推理与动作生成解耦。通过这种方式，模型能够更好地理解当前环境的安全性，并在生成动作时考虑到导航指令的安全性。

技术框架：SafeDriveVLA的整体架构包括三个主要模块：导航合规模式预测模块、世界模型梦境生成模块和动作生成模块。首先，模型根据当前环境和导航指令预测合规模式，然后生成符合安全标准的动作。

关键创新：SafeDriveVLA的主要创新在于引入了导航条件的世界模型梦境，这一方法不同于以往的世界模型，它不再依赖专家或计划的动作，而是专注于严格遵循导航信号，从而有效判断何时跟随是安全的。

关键设计：在设计中，SafeDriveVLA采用了特定的损失函数来平衡导航合规性与动作生成的安全性，并在网络结构上进行了优化，以提高模型在复杂环境中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SafeDriveVLA在Bench2Drive基准测试中取得了88.16的驾驶评分（DS）和68.64%的成功率（SR），相较于最佳SimLingo变体，闭环语言跟随提升了49.3%，并将不安全指令下的碰撞数从60减少到38，显示出显著的性能提升。

🎯 应用场景

SafeDriveVLA的研究成果在自动驾驶领域具有广泛的应用潜力，尤其是在复杂城市环境中，能够有效提高车辆在面对多变指令时的安全性和可靠性。未来，该技术可进一步应用于智能交通系统和无人驾驶出租车等场景，提升整体交通安全水平。

📄 摘要（原文）

Vision-Language-Action (VLA) models are gaining attention in autonomous driving, inheriting commonsense priors from large language models (LLMs) and widening the navigation interface from a fixed command set to free-form natural-language instructions. However, this open-ended interface exposes a new vulnerability surface: an inattentive driver may issue instructions that are unsafe given the current scene, and a malicious user may issue dangerous ones on purpose. We present the first benchmark suite that evaluates navigation following and conflict awareness together, along with adversarial robustness. Existing VLAs fall short on both: SimLingo completes no language-instructed lane change in closed loop, and all models degrade sharply under conflicting signals. We propose SafeDriveVLA, the first driving VLA that (1) explicitly predicts a three-level navigation-compliance mode to decouple conflict reasoning from action generation, and (2) uses navigation-conditioned world model dreaming to inform this prediction. Unlike prior world models that roll out expert or planned actions, ours dreams of strictly following the navigation signal, showing when following is safe. SafeDriveVLA reaches 88.16 Driving Score (DS) and 68.64% Success Rate (SR) on Bench2Drive, lifts closed-loop language following by 49.3% and reduces collisions under unsafe instructions from 60 to 38 compared to the best SimLingo variant. Video demonstrations are available on our project page.