Accelerating Real-World Overtaking in F1TENTH Racing Employing Reinforcement Learning Methods

📄 arXiv: 2510.26040v1 📥 PDF

作者: Emily Steiner, Daniel van der Spuy, Futian Zhou, Afereti Pama, Minas Liarokapis, Henry Williams

分类: cs.RO, cs.LG

发布日期: 2025-10-30

💡 一句话要点

提出基于强化学习的F1TENTH赛车超车算法，提升真实场景超车成功率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动驾驶赛车 F1TENTH 超车算法 对抗训练

📋 核心要点

  1. 现有自动驾驶竞速算法在真实场景的轮对轮超车中表现不足，难以保证安全性和可靠性。
  2. 提出一种基于强化学习的智能体，通过与对手的对抗训练，学习更有效的超车策略。
  3. 实验结果表明，该智能体在真实F1Tenth赛车平台上实现了更高的超车成功率。

📝 摘要（中文）

在自动驾驶竞速领域，虽然在计时赛场景中取得了显著进展，但在实际的轮对轮竞速和超车方面仍然存在严重局限性。尤其是在真实驾驶场景中，现有算法难以安全可靠地完成超车动作。可靠地绕过其他车辆对于安全的轮对轮竞速至关重要。F1Tenth比赛为在标准化物理平台上开发轮对轮竞速算法提供了一个有用的机会。比赛形式使得评估超车和轮对轮竞速算法与现有技术水平成为可能。本研究提出了一种新颖的竞速和超车智能体，该智能体能够学习可靠地导航赛道并在模拟和现实中超越对手。该智能体部署在F1Tenth车辆上，并在现实世界中与运行各种竞争算法的对手竞争。结果表明，智能体通过与对手的训练，能够实现有意的超车行为，超车率达到87%，而仅接受竞速训练的智能体超车率仅为56%。

🔬 方法详解

问题定义：现有自动驾驶赛车算法在计时赛中表现良好，但在真实的轮对轮竞速场景，尤其是在超车场景中，面临着安全性和可靠性的挑战。现有的算法难以在复杂动态环境中做出合理的超车决策，容易发生碰撞或超车失败。

核心思路：该论文的核心思路是利用强化学习，训练一个能够自主学习超车策略的智能体。通过与不同的对手进行对抗训练，智能体能够学习到在各种复杂场景下的超车技巧，从而提高超车成功率和安全性。这种方法强调了在动态环境中学习的重要性，并利用强化学习的优势来解决传统算法难以处理的复杂问题。

技术框架：整体框架包含环境模拟器、强化学习智能体和F1Tenth赛车平台。智能体通过与环境交互，获取状态信息（例如车辆位置、速度、相对距离等），并根据当前状态选择动作（例如加速、减速、转向）。环境模拟器根据智能体的动作更新环境状态，并返回奖励信号。智能体根据奖励信号调整策略，从而学习到最优的超车策略。在训练完成后，将智能体部署到真实的F1Tenth赛车平台上进行测试和验证。

关键创新：该论文的关键创新在于利用强化学习进行对抗训练，使智能体能够学习到更鲁棒和有效的超车策略。与传统的基于规则或优化的方法相比，该方法能够更好地适应复杂和动态的赛道环境，并能够学习到一些非直观的超车技巧。此外，该研究将智能体部署到真实的F1Tenth赛车平台上进行验证，证明了该方法的实际可行性。

关键设计：论文中可能涉及的关键设计包括：状态空间的设计（如何有效地表示赛车和对手的状态），动作空间的设计（如何定义赛车的控制动作），奖励函数的设计（如何引导智能体学习到期望的超车行为），强化学习算法的选择（例如，Q-learning, Deep Q-Network, Policy Gradient等），以及网络结构的设计（如果使用深度强化学习）。具体的参数设置和网络结构等细节需要在论文中查找。

📊 实验亮点

实验结果表明，经过对抗训练的智能体在真实F1Tenth赛车平台上实现了87%的超车成功率，而仅接受竞速训练的智能体超车率仅为56%。这表明对抗训练能够显著提高智能体的超车能力。该研究成功地将强化学习算法应用到真实的赛车平台上，并取得了显著的性能提升。

🎯 应用场景

该研究成果可应用于自动驾驶赛车、无人驾驶车辆的避障和超车、以及机器人导航等领域。通过强化学习训练智能体，使其能够在复杂动态环境中安全有效地完成超车或避障任务，具有重要的实际应用价值。未来可进一步扩展到更复杂的交通场景，例如城市道路的自动驾驶。

📄 摘要（原文）

While autonomous racing performance in Time-Trial scenarios has seen significant progress and development, autonomous wheel-to-wheel racing and overtaking are still severely limited. These limitations are particularly apparent in real-life driving scenarios where state-of-the-art algorithms struggle to safely or reliably complete overtaking manoeuvres. This is important, as reliable navigation around other vehicles is vital for safe autonomous wheel-to-wheel racing. The F1Tenth Competition provides a useful opportunity for developing wheel-to-wheel racing algorithms on a standardised physical platform. The competition format makes it possible to evaluate overtaking and wheel-to-wheel racing algorithms against the state-of-the-art. This research presents a novel racing and overtaking agent capable of learning to reliably navigate a track and overtake opponents in both simulation and reality. The agent was deployed on an F1Tenth vehicle and competed against opponents running varying competitive algorithms in the real world. The results demonstrate that the agent's training against opponents enables deliberate overtaking behaviours with an overtaking rate of 87% compared 56% for an agent trained just to race.