RefineDrive: Reliable Failure-Guided Learning for Vision-Language-Action Driving

📄 arXiv: 2609.35078v1 📥 PDF

作者: Zhe Sun, Ziyi Luo, Yehao Lu, Lei Zhou, Xi Li

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出RefineDrive以解决自主驾驶中的失败学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 多模态学习 强化学习 安全性 失败引导学习

📋 核心要点

  1. 现有的VLA模型在自主驾驶中主要依赖成功的专家示范，导致对模型特定失败的学习不足。
  2. RefineDrive通过可靠诊断和安全意识强化学习，从自生成的失败中进行有针对性的学习，提升模型的安全性和可靠性。
  3. 在NAVSIM v1上，RefineDrive显著提高了4B基础SFT策略的PDMS，从87.7提升至91.7，展示了其有效性。

📝 摘要（中文）

Vision-Language-Action (VLA) 模型在自主驾驶中依赖成功的专家示范，但对模型特定的失败利用不足。学习这些失败受到不可靠诊断、匹配不当的修正目标和粗糙奖励的阻碍。我们提出RefineDrive，一个基于失败引导的后训练框架，通过有针对性的监督和安全意识强化学习，从自生成的失败中学习。可靠诊断从模拟器状态中直接获取关于碰撞和可驾驶区域违规的结构化反馈。最小修正目标检索从聚类的人类轨迹库中搜索满足当前场景硬安全约束的附近修正，优先保留失败预测的运动模式。基于驾驶上下文和失败轨迹，修正SFT学习生成诊断，随后检索修正作为训练辅助任务。我们应用GRPO与安全分层奖励，严格优先考虑硬安全轨迹，并在满足硬安全后才奖励驾驶进展。在推理时，策略直接从驾驶上下文预测轨迹，无需显式的诊断或修复阶段。在NAVSIM v1上，RefineDrive将4B基础SFT策略的PDMS从87.7提升至91.7。

🔬 方法详解

问题定义：当前的VLA模型在自主驾驶中主要依赖成功的专家示范，导致对模型特定失败的学习不足，且学习过程受到不可靠诊断和粗糙奖励的影响。

核心思路：RefineDrive通过引入失败引导的后训练框架，利用自生成的失败进行学习，采用有针对性的监督和安全意识强化学习，以提升模型的安全性和可靠性。

技术框架：整体架构包括多个模块：可靠诊断模块从模拟器状态中获取反馈，最小修正目标检索模块从人类轨迹库中寻找修正，修正SFT模块生成诊断和修正，最后通过GRPO与安全分层奖励进行优化。

关键创新：RefineDrive的创新在于其失败引导的学习机制，能够从自生成的失败中进行有效学习，并通过安全分层奖励确保模型在推理时的安全性。

关键设计：在设计中，采用了结构化的反馈机制、聚类的人类轨迹库检索和安全分层奖励策略，确保模型在满足硬安全约束的情况下进行有效的轨迹预测。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RefineDrive显著提高了4B基础SFT策略的PDMS，从87.7提升至91.7，且在NAVTEST场景中，使用相同的检查点而无需额外训练，达到了89.4的EPDMS，验证了其有效性和鲁棒性。

🎯 应用场景

RefineDrive的研究成果在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统在复杂环境中的安全性和可靠性。未来，该方法可扩展至其他需要多模态学习和安全保障的智能系统，如机器人导航和人机交互等领域。

📄 摘要（原文）

Vision-Language-Action (VLA) models for autonomous driving rely heavily on successful expert demonstrations, leaving model-specific failures underexploited. Learning from these failures is hindered by unreliable diagnoses, poorly matched correction targets, and coarse rewards. We propose RefineDrive, a failure-guided post-training framework that learns from self-generated failures through targeted supervision and safety-aware reinforcement learning. Reliable Diagnosis derives structured, verifiable feedback on collisions and drivable-area violations directly from simulator states. Minimum-Correction Target Retrieval searches a clustered human trajectory bank for nearby corrections that satisfy hard-safety constraints in the current scene, prioritizing preservation of the failed prediction's motion pattern. Conditioned on the driving context and failed trajectory, Correction SFT learns to generate the diagnosis followed by the retrieved correction as a training-only auxiliary task. We then apply GRPO with a Safety-Layered Reward that strictly prioritizes hard-safe trajectories, retains continuous safety feedback for both unsafe and hard-safe trajectories, and rewards driving progress only after hard safety is satisfied. At inference, the policy directly predicts trajectories from the driving context without an explicit diagnosis or repair stage. On NAVSIM v1, RefineDrive improves the 4B base SFT policy from 87.7 to 91.7 PDMS. Using the same checkpoint without additional training, RefineDrive achieves 89.4 EPDMS on the original NAVTEST scenes evaluated with NAVSIM v2 extended metrics. Controlled ablations support the benefits of structured diagnosis supervision, retrieved corrections, and safety-layered optimization for direct planning.