Prescribed Performance Guided Safe Reinforcement Learning for Roundabout Navigation of Autonomous Vehicles
作者: Wenhan Li, Yangrui Zhang, Hang Zhou, Peiran Liu, Yiding Ji
分类: cs.RO
发布日期: 2026-10-20
备注: 8 pages, 10 figures
💡 一句话要点
提出RLTrajGen-PPMPC-CBF框架以解决自动驾驶车辆环形交叉口导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动驾驶 环形交叉口 强化学习 模型预测控制 安全导航 控制障碍函数 规定性能约束
📋 核心要点
- 现有的强化学习与模型预测控制结合方法在环形交叉口导航中存在结构不匹配和安全性不足的问题。
- 本文提出的RLTrajGen-PPMPC-CBF框架通过规定性能约束和控制障碍函数，实现了RL与MPC的有效耦合。
- 在MetaDrive环境中的实验结果显示，该方法成功率提高6.25%，运动病剂量值降低65.87%，训练收敛速度加快。
📝 摘要（中文）
连接与自动驾驶车辆（CAVs）在环形交叉口导航中面临密集交通互动和不可预测行为的挑战，要求高适应性和安全性。现有的强化学习（RL）与模型预测控制（MPC）结合方法存在结构不匹配的问题，导致RL决策与MPC轨迹优化不一致，且缺乏严格的安全保障。本文提出了RLTrajGen-PPMPC-CBF，一个用于安全、平稳和舒适的环形交叉口导航的分层框架，通过规定性能约束（PPC）确保参考轨迹与控制输出之间的稳定收敛，并引入控制障碍函数（CBF）层提供实时安全修正。仿真结果表明，该方法在MetaDrive环境中实现了平均成功率提高6.25%和运动病剂量值（MSDV）降低65.87%的显著效果，同时加快了训练收敛速度。
🔬 方法详解
问题定义：本文旨在解决连接与自动驾驶车辆在环形交叉口导航中面临的安全性和适应性不足的问题。现有的RL与MPC结合方法存在决策与优化层次不匹配，导致安全保障不足。
核心思路：提出RLTrajGen-PPMPC-CBF框架，通过引入规定性能约束（PPC）和控制障碍函数（CBF），实现RL规划与MPC控制的有效耦合，确保安全性与平稳性。
技术框架：该框架分为三个主要模块：首先是基于RL的轨迹生成模块，其次是MPC控制模块，最后是CBF安全修正模块。RL模块生成参考轨迹，MPC模块优化控制输入，CBF模块实时调整以确保安全。
关键创新：最重要的创新在于引入了规定性能约束和控制障碍函数，使得RL与MPC之间的耦合更加紧密，解决了现有方法中存在的安全性和适应性不足的问题。
关键设计：在设计中，规定性能约束用于确保参考轨迹与控制输出的稳定收敛，CBF层则用于实时安全修正，确保车辆在复杂环境中的安全导航。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RLTrajGen-PPMPC-CBF方法在MetaDrive环境中实现了6.25%的成功率提升和65.87%的运动病剂量值降低，相较于最佳基线显著提高了安全性和舒适性，同时加快了训练收敛速度。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车的导航系统，尤其是在复杂交通环境中的安全驾驶。通过提高环形交叉口的导航安全性和舒适性，能够显著提升自动驾驶技术的实用性和用户接受度，未来可能推动智能交通系统的发展。
📄 摘要（原文）
Connected and Autonomous Vehicles (CAVs) face significant challenges in roundabout navigation due to dense traffic interactions and unpredictable agent behaviors, necessitating high levels of adaptability and safety. While the combination of Reinforcement Learning (RL) and Model Predictive Control (MPC) offers a promising approach, existing frameworks suffer from a structural mismatch where pointwise RL decisions fail to align with MPC's trajectory level optimization, and often lack rigorous safety guarantees. This work proposes RLTrajGen-PPMPC-CBF, a hierarchical framework for safe, smooth and comfort roundabout navigation, which regulates the coupling between RL-based planning and MPC-based control. We employ Prescribed Performance Constraints (PPC) to enforce a gradual, stable convergence between reference trajectories and control outputs, ensuring MPC tracking performance remains consistent with intended behavior from RL. Additionally, a Control Barrier Function (CBF) layer provides real-time safety corrections that are fed back into the RL process. Simulation results in the MetaDrive environment demonstrate that our method achieves a 6.25\% increase in average success rate and a 65.87\% reduction in Motion Sickness Dose Value (MSDV) compared to the optimal baseline, meanwhile accelerating training convergence.