Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving

📄 arXiv: 2610.13453v1 📥 PDF

作者: Yuechen Luo, He Chong, Fang Li, Shaoqing Xu, Hexin Zhang, Ruiqi Zhang, Ziying Song, Lei Yang, Zhi-Xin Yang, Fuxi Wen

分类: cs.RO

发布日期: 2026-10-09

💡 一句话要点

提出Reflect-VLA以解决自主驾驶中的规划错误诊断问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 强化学习 轨迹生成 自蒸馏 规划优化 多模态学习 智能交通 模型训练

📋 核心要点

  1. 现有强化学习方法依赖标量奖励，无法有效识别和修正具体的规划错误，导致在复杂场景中的表现不佳。
  2. 本文提出Reflect-VLA，通过双路径在线自蒸馏技术内化Reflective Guidance的优势，优化轨迹生成过程。
  3. 实验表明，Reflect-VLA在NAVSIM v1/v2和Bench2Drive上表现优异，训练时间减少超过90%，显著提升了规划效率。

📝 摘要（中文）

强化学习（RL）显著提升了自主驾驶视觉-语言-动作（VLA）模型的规划性能。然而，现有的RL方法依赖于标量轨迹奖励，无法识别具体的规划错误或提供可操作的修正信号。Reflective Guidance将轨迹评估转化为明确的诊断和修正指令，显著提高了规划准确性。本文提出Reflect-VLA，将Reflective Guidance视为训练时的特权信息，通过双路径在线自蒸馏（Dual-OPSD）内化其规划优势。在推理时，Reflect-VLA能够在单次传递中生成轨迹，无需显式指导或迭代优化。实验结果表明，在NAVSIM v1/v2和Bench2Drive上，Reflect-VLA在规划性能上具有竞争力，同时训练时间减少超过90%。

🔬 方法详解

问题定义：本文旨在解决现有自主驾驶模型在规划过程中无法有效识别和修正具体错误的问题。现有方法依赖于标量奖励，导致在复杂场景中表现不佳，无法提供有效的修正信号。

核心思路：Reflect-VLA将Reflective Guidance视为训练时的特权信息，通过双路径在线自蒸馏（Dual-OPSD）技术内化其规划优势。该方法不仅优化了轨迹生成过程，还能够在推理时实现单次传递生成轨迹。

技术框架：Reflect-VLA的整体架构包括三个主要模块：驾驶知识预训练、规划与精炼的有监督微调（SFT）、自我精炼拒绝采样。通过这些模块，逐步构建教师模型，以提供可靠的修正分布。

关键创新：Reflect-VLA的核心创新在于使用双路径在线自蒸馏技术，而非传统的标量奖励优化。这种方法允许模型在生成风险轨迹时提取密集的修正分布，同时对可靠轨迹进行自我模仿，从而提高规划的准确性。

关键设计：在模型设计中，教师模型通过逐步构建的方式进行训练，采用特定的损失函数来优化轨迹生成的质量。此外，模型的参数设置和网络结构经过精心设计，以确保在推理时能够高效生成轨迹。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Reflect-VLA在NAVSIM v1/v2和Bench2Drive上实现了竞争力的规划性能，训练时间减少超过90%。与传统强化学习方法相比，该方法在效率和准确性上均有显著提升，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高自主驾驶系统的规划准确性和效率，Reflect-VLA有望在未来的智能交通解决方案中发挥重要作用，推动自动驾驶技术的广泛应用。

📄 摘要（原文）

Reinforcement Learning (RL) substantially improves planning performance in autonomous-driving Vision-Language-Action (VLA) models. However, existing RL methods rely on scalar trajectory rewards that measure overall quality but fail to identify specific planning errors or provide actionable correction signals. In long-tail scenarios, errors in scene understanding, behavior selection, and trajectory execution are compressed into a single score. We observe that Reflective Guidance turns trajectory evaluation into explicit diagnoses and corrective instructions, substantially improving planning accuracy. Yet such guidance requires an initial prediction and its evaluation results, making it unavailable for direct single-pass inference. We propose Reflect-VLA, which treats Reflective Guidance as training-time privileged information and internalizes its planning benefits through Dual-Path On-Policy Self-Distillation (Dual-OPSD). Unlike scalar-reward optimization, Dual-OPSD uses the driving score only to route student-generated trajectories. It distills dense token-level corrective distributions from the teacher for risky trajectories while applying self-imitation to preserve reliable ones. To provide reliable corrective distributions on student rollouts, the teacher is progressively constructed through Driving-Knowledge Pretraining, Planning-and-Refinement SFT, and Self-Refinement Rejection Sampling. At inference time, Reflect-VLA generates trajectories in a single pass without explicit guidance or iterative refinement. Experiments on NAVSIM v1/v2 and Bench2Drive demonstrate competitive planning performance while reducing training time by over 90% compared with RL.