Deep Reinforcement-Learning-Guided Model Predictive Control for Preventing Overtakes in Autonomous Racing
作者: Yufei Xi, Yijie Liao, Tulga Ersal
分类: cs.RO
发布日期: 2026-07-23
备注: Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). 8 pages, 7 figures
💡 一句话要点
提出深度强化学习引导的模型预测控制以防止自动赛车超车
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动驾驶 深度强化学习 模型预测控制 赛车 防御策略 实时决策 动态系统
📋 核心要点
- 核心问题：现有方法在自动赛车中难以有效防止对手超车，尤其是在接近车辆动态极限时。
- 方法要点：提出了一种基于分层强化学习的模型预测控制框架，将防御问题转化为空间占用调节问题。
- 实验或效果：在Thunderhill West赛道的仿真中，平均超车时间从8.8秒提升至14.6秒，显著降低了对手进展。
📝 摘要（中文）
本文针对自动赛车中的防御性阻挡问题进行研究，旨在防止更快的对手在车辆接近动态极限时超车。与传统的圈速最小化不同，本文将防御问题形式化为空间占用调节问题，采用分层强化学习引导的模型预测控制框架。通过在Frenet域中操作的Soft Actor-Critic策略层生成几何感知的防御参考，并将其嵌入到非线性模型预测控制的空间正则化中，以满足摩擦约束。通过在Thunderhill West赛道的仿真评估，该框架将平均超车时间从8.8秒提高到14.6秒，同时显著减少对手的进展，并使车辆利用83.4%的可用轮胎力。该框架实现了33.3毫秒的平均求解时间（标准差为13.9毫秒），支持实时高速度对抗交互。
🔬 方法详解
问题定义：本文解决的是自动赛车中防止对手超车的具体问题，现有方法在高动态条件下难以有效实施防御策略，导致对手轻易超车。
核心思路：论文提出的核心思路是将防御策略视为空间占用调节问题，利用深度强化学习生成几何感知的防御参考，以增强车辆的防御能力。
技术框架：整体架构包括一个分层的强化学习模块和一个非线性模型预测控制模块。Soft Actor-Critic策略层在Frenet域中生成防御参考，这些参考被嵌入到模型预测控制中作为空间正则化。
关键创新：最重要的技术创新在于将深度强化学习与模型预测控制相结合，形成了一种新的防御策略生成机制，与传统的圈速优化方法有本质区别。
关键设计：在设计中，采用了摩擦约束来确保车辆在动态极限下的稳定性，设置了适当的损失函数以平衡防御与速度之间的关系，同时优化了网络结构以提高求解效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的框架在Thunderhill West赛道上将平均超车时间从8.8秒提升至14.6秒，显著降低了对手的进展。同时，车辆能够有效利用83.4%的可用轮胎力，支持实时高速度对抗交互，平均求解时间为33.3毫秒，标准差为13.9毫秒。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶赛车、智能交通系统以及其他需要实时决策的动态环境。通过提高防御能力，该方法可以在竞争激烈的场景中提升车辆的安全性和效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
This paper addresses defensive blocking in autonomous racing, where a vehicle must prevent a faster opponent from overtaking while operating near its dynamic limits. Different from lap-time minimization, we formulate defense as a spatial occupancy regulation problem via a hierarchical reinforcement-learning guided model predictive control framework. A Soft Actor-Critic strategic layer operates in the Frenet domain to generate geometry-aware defensive references, which are embedded into the nonlinear model predictive control formulation as spatial regularization under friction constraints. Evaluated on the Thunderhill West circuit in simulation, the framework increases average overtake time from 8.8 s to 14.6 s while significantly reducing opponent progress. Meanwhile, it allows the vehicle to utilize 83.4% of available tire force. The framework achieves a 33.3 ms mean solve time (13.9 ms std), supporting real-time high-speed adversarial interaction.