RoXDrive: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving via Action-Faithful Rollouts

📄 arXiv: 2609.36851v1 📥 PDF

作者: Hongbin Lin, Chaoda Zheng, Yiming Yang, Xiangyu Li, Shijia Chen, Jinhao Deng, Kangjie Chen, Dongbin Zhang, Jie Feng, Yu Zhang, Xianming Liu, Shuguang Cui, Boyang Wang, Zhen Li

分类: cs.CV

发布日期: 2026-09-29

备注: Project page: https://hongbin98.github.io/RoXDrive/; Github: https://github.com/Hongbin98/RoXDrive

💡 一句话要点

提出RoXDrive以解决闭环自主驾驶中的因果混淆问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 闭环强化学习 自主驾驶 动作-视觉忠实性 世界模型 安全性优化

📋 核心要点

  1. 现有的端到端自主驾驶方法在闭环环境中缺乏对自身行为后果的观察，导致因果混淆问题。
  2. RoXDrive框架通过引入动作-视觉忠实性评估器和世界模型的交互训练，解决了现有方法的局限性。
  3. 在nuScenes和内部数据集上，RoXDrive在安全性方面表现出色，减少了安全违规事件的发生。

📝 摘要（中文）

现有的端到端自主驾驶策略通常通过模仿学习进行训练，但未能观察自身行为的后果，导致在闭环实际部署中出现因果混淆。为了解决这一问题，本文提出了一种闭环强化学习框架RoXDrive，通过识别动作忠实的世界模型回滚，优化策略。该框架包括两个阶段：模型预训练和动作忠实的强化学习后训练。实验结果表明，在nuScenes和内部数据集上，RoXDrive显著降低了安全违规率，分别达到了27.6%和33.7%的提升。

🔬 方法详解

问题定义：本文旨在解决现有端到端自主驾驶策略在闭环环境中因果混淆的问题。现有方法往往依赖重建型模拟器，导致反事实交互能力有限。

核心思路：RoXDrive通过引入动作-视觉忠实性评估器，结合几何感知的辅助轨迹监督，进行逆动态估计，从而实现对视觉动态与自我行为的长期评估。

技术框架：RoXDrive框架分为两个主要阶段：模型预训练和动作忠实的强化学习后训练。在模型预训练阶段，除了模仿学习外，还进行动作-视觉忠实性评估；在后训练阶段，智能体与世界模型迭代交互，形成长时间场景回滚。

关键创新：RoXDrive的核心创新在于其动作-视觉忠实性评估器，能够有效评估视觉动态是否忠实于自我行为，这一设计显著提升了策略优化的可靠性。

关键设计：在设计中，采用了几何感知的辅助监督，确保了长时间评估的准确性。同时，框架中引入了密集的安全意识评分机制，以确保训练过程中的安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes数据集上，RoXDrive的应用使得安全违规事件减少了27.6%，而在内部数据集上则减少了33.7%。这些结果表明，RoXDrive在提升自主驾驶系统安全性方面具有显著的效果，优于现有的基线方法。

🎯 应用场景

RoXDrive的研究成果在自动驾驶领域具有广泛的应用潜力，尤其是在需要高安全性和可靠性的场景中，如城市驾驶和复杂交通环境。通过优化自主驾驶策略，该框架能够显著降低事故风险，提高驾驶安全性，未来可能推动智能交通系统的发展。

📄 摘要（原文）

End-to-end autonomous driving policies are commonly trained via imitation learning on logged demonstrations without observing the consequences of their own actions, leading to causal confusion in closed-loop real-world deployment. To address this issue, reinforcement learning (RL) post-training offers a promising alternative by leveraging world models as interactive training environments to enable future scene generation for policy improvement. Nevertheless, existing approaches either rely on reconstruction-based simulators, offering limited counterfactual interaction, or adopt synthetic simulators to enable long-horizon closed-loop interaction at the cost of a substantial sim-to-real gap. Recently, video world models have exhibited the ability to generate realistic multi-step future rollouts but may not faithfully reflect action conditions, resulting in action-vision mismatch. In this paper, we introduce RoXDrive, a plug-and-play closed-loop RL framework that enables reliable policy optimization by identifying action-faithful world-model rollouts, consisting of two stages: 1) Model pre-training: In addition to imitation-based policy pre-training, we devise an Action-Vision Faithfulness Evaluator for inverse dynamics estimation with our geometry-aware auxiliary trajectory supervision, enabling long-horizon assessment of whether visual dynamics faithfully reflect the conditioning ego actions. 2) Action-faithful RL post-training: Agents iteratively interact with world models to form long-horizon scene rollouts, retaining only action-faithful ones for dense safety-aware scoring and scene-level closed-loop RL post-training. Extensive experiments on nuScenes and an in-house dataset with over 130K training scenarios demonstrate consistent gains across planners, reducing safety violations by 27.6% with DiffusionDrive on nuScenes and 33.7% with Qwen3-VL on the internal data.