MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning

📄 arXiv: 2512.13636 📥 PDF

作者: Haoyu Fu, Diankun Zhang, Zongchuang Zhao, Jianfeng Cui, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Dingkang Liang, Xiang Bai

分类: cs.CV, cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出MindDrive以解决自主驾驶中的在线强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 在线强化学习 自主驾驶 决策优化 试错学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在自主驾驶中主要依赖模仿学习，导致分布偏移和因果混淆等问题。
  2. MindDrive框架通过引入在线强化学习和大型语言模型，解决了连续动作空间中的探索效率低下问题。
  3. 在Bench2Drive基准测试中，MindDrive取得了78.04的驾驶评分和55.09%的成功率，显示出显著的性能提升。

📝 摘要（中文）

当前自主驾驶中的视觉-语言-动作（VLA）模型主要依赖模仿学习（IL），这带来了分布偏移和因果混淆等挑战。在线强化学习通过试错学习提供了应对这些问题的有效途径。然而，将在线强化学习应用于VLA模型时，连续动作空间中的探索效率低下成为障碍。为此，本文提出了MindDrive框架，该框架结合了大型语言模型（LLM）和两组不同的LoRA参数。一个LLM作为决策专家进行场景推理和驾驶决策，另一个则作为动作专家将语言决策动态映射为可行轨迹。通过将轨迹级奖励反馈到推理空间，MindDrive实现了对有限离散语言驾驶决策的试错学习。使用轻量级的Qwen-0.5B LLM，MindDrive在Bench2Drive基准测试中取得了78.04的驾驶评分（DS）和55.09%的成功率（SR）。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中视觉-语言-动作模型在应用在线强化学习时的探索效率低下问题，现有方法主要依赖模仿学习，面临分布偏移和因果混淆的挑战。

核心思路：MindDrive框架结合了大型语言模型（LLM）和两组LoRA参数，通过将轨迹级奖励反馈到推理空间，实现对离散语言驾驶决策的试错学习，从而提高探索效率。

技术框架：MindDrive的整体架构包括两个主要模块：决策专家和动作专家。决策专家负责场景推理和决策制定，而动作专家则将语言决策映射为可行的驾驶轨迹。

关键创新：MindDrive的创新在于首次将在线强化学习有效应用于视觉-语言-动作模型，克服了传统方法在连续动作空间中的探索不足。

关键设计：使用轻量级的Qwen-0.5B LLM，MindDrive通过设定特定的LoRA参数和损失函数，优化了决策和动作映射过程，确保了高效的试错学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MindDrive在Bench2Drive基准测试中取得了78.04的驾驶评分和55.09%的成功率，显著优于传统模仿学习方法。这一结果表明，在线强化学习在视觉-语言-动作模型中的有效性，为自主驾驶技术的发展提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和人机交互等。通过提升自主驾驶系统的决策能力和适应性，MindDrive有望在未来推动智能交通的安全性和效率。其在线强化学习的框架也可扩展至其他需要实时决策的领域，如机器人导航和智能家居系统。

📄 摘要（原文）

Current Vision-Language-Action (VLA) paradigms in autonomous driving primarily rely on Imitation Learning (IL), which introduces inherent challenges such as distribution shift and causal confusion. Online Reinforcement Learning offers a promising pathway to address these issues through trial-and-error learning. However, applying online reinforcement learning to VLA models in autonomous driving is hindered by inefficient exploration in continuous action spaces. To overcome this limitation, we propose MindDrive, a VLA framework comprising a large language model (LLM) with two distinct sets of LoRA parameters. The one LLM serves as a Decision Expert for scenario reasoning and driving decision-making, while the other acts as an Action Expert that dynamically maps linguistic decisions into feasible trajectories. By feeding trajectory-level rewards back into the reasoning space, MindDrive enables trial-and-error learning over a finite set of discrete linguistic driving decisions, instead of operating directly in a continuous action space. This approach effectively balances optimal decision-making in complex scenarios, human-like driving behavior, and efficient exploration in online reinforcement learning. Using the lightweight Qwen-0.5B LLM, MindDrive achieves Driving Score (DS) of 78.04 and Success Rate (SR) of 55.09% on the challenging Bench2Drive benchmark. To the best of our knowledge, this is the first work to demonstrate the effectiveness of online reinforcement learning for the VLA model in autonomous driving.