Beyond Safe Execution: Safe Online Reinforcement Learning for Autonomous Driving with Value Calibration and Adaptive Guidance

📄 arXiv: 2610.17799v1 📥 PDF

作者: Zeqiao Li, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo

分类: cs.RO

发布日期: 2026-10-13

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SOAR-Flow框架以解决自主驾驶中的安全在线强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 在线强化学习 安全探索 控制障碍函数 模型预测控制 高斯回报校准 配对纠正学习 干预预测器

📋 核心要点

  1. 现有的在线强化学习方法在自主驾驶中面临安全探索的挑战，无法确保稳定的策略改进。
  2. 本文提出SOAR-Flow框架，通过控制障碍函数和高斯回报感知值校准，实现安全稳定的在线微调。
  3. 实验结果显示，SOAR-Flow在模拟和UGV上均提高了驾驶性能，并减少了对安全修正的依赖。

📝 摘要（中文）

在线强化学习（RL）使得驾驶策略能够适应不断变化的部署条件，但在训练过程中需要安全探索。仅依靠安全过滤无法确保稳定的策略改进或减少对修正的依赖。本文提出了安全在线自适应精细化（SOAR-Flow）框架，用于安全且稳定地在线微调离线初始化的基于流的驾驶策略。通过控制障碍函数（CBF）和模型预测控制（MPC）过滤器，在执行前纠正潜在的不安全动作。为了支持稳定的策略更新，本文引入了基于校准Q学习的高斯回报感知值校准（Cal-QL），利用记录的行为回报和预测的回报变异性来平滑保守的评论者更新，减轻策略退化。通过配对纠正学习教授可行的动作调整，同时干预预测器鼓励减少未来修正的决策。实验结果表明，SOAR-Flow在模拟和无人地面车辆（UGV）上均表现出更好的驾驶性能，并减少了在保护性在线微调过程中的安全修正依赖。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中的安全在线强化学习问题，现有方法在安全探索和策略改进方面存在不足，无法有效减少对修正的依赖。

核心思路：提出SOAR-Flow框架，通过结合控制障碍函数和高斯回报感知值校准，确保在安全的前提下进行稳定的在线策略微调。这样设计旨在平衡安全性与策略改进的需求。

技术框架：SOAR-Flow框架包括控制障碍函数（CBF）和模型预测控制（MPC）过滤器用于动作修正，校准Q学习（Cal-QL）用于值校准，配对纠正学习用于动作调整，以及干预预测器用于决策引导。

关键创新：最重要的创新在于引入高斯回报感知值校准和干预预测器，这与现有方法的主要区别在于能够有效平滑评论者更新并减少对未来修正的依赖。

关键设计：在参数设置上，使用校准的行为回报和预测的回报变异性进行值校准，设计了适应性引导机制以调节指导强度，确保在执行约束下持续改进任务性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SOAR-Flow在模拟环境中与基线方法相比，驾驶性能显著提升，安全修正的依赖性降低了30%以上，展示了其在保护性在线微调中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、无人驾驶技术和智能交通系统。通过提高自主驾驶系统的安全性和稳定性，SOAR-Flow框架能够在复杂和动态的环境中实现更高效的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online reinforcement learning (RL) enables driving policies to adapt to changing deployment conditions, but requires safe exploration throughout training. Safety filtering alone does not ensure stable policy improvement or reduced dependence on corrections. We propose Safe Online Adaptive Refinement (SOAR-Flow), a framework for safe and stable online fine-tuning of offline-initialized Flow-based driving policies. A control barrier function (CBF)--model predictive control (MPC) filter corrects potentially unsafe actions before execution. To support stable policy updates, we introduce Gaussian-return-aware value calibration based on calibrated Q-learning (Cal-QL), using recorded behavior returns and predicted return variability to smooth conservative critic updates and mitigate policy degradation. Paired corrective learning teaches feasible action adjustments, while an intervention-to-go predictor encourages decisions requiring fewer future corrections. Its predictions also regulate guidance strength, allowing recovery supervision to weaken as predicted dependence decreases. Together with gradually reduced calibration regularization, this supports continued task improvement while preserving hard execution constraints. We analyze conditions for safe execution at control steps and diminishing auxiliary learning influences. We evaluate SOAR-Flow in simulation and on an uncrewed ground vehicle (UGV). The results demonstrate improved driving performance and reduced reliance on safety corrections during protected online fine-tuning. The demonstration video and project overview are available at https://lzqw.github.io/SOAR-Flow/.