Learning Autonomous Race Driving with Action Mapping Reinforcement Learning

📄 arXiv: 2406.14934v1 📥 PDF

作者: Yuanda Wang, Xin Yuan, Changyin Sun

分类: cs.RO, eess.SY

发布日期: 2024-06-21

DOI: 10.1016/j.isatra.2024.05.010

💡 一句话要点

提出基于动作映射的强化学习方法，解决自动驾驶赛车中摩擦约束下的控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动驾驶赛车 动作映射 摩擦约束 数值近似

📋 核心要点

  1. 自动驾驶赛车需要在车辆操控极限下运行，同时满足物理和安全约束，这带来了复杂的控制挑战。
  2. 论文提出动作映射(AM)机制，处理因轮胎摩擦力限制而产生的状态相关输入约束，并采用数值近似方法实现。
  3. 实验结果表明，提出的AM-RL方法在单圈时间和成功率上优于传统RL方法，并验证了驾驶策略的泛化能力。

📝 摘要（中文）

本文提出了一种基于强化学习(RL)的自动驾驶赛车方法，该方法结合了动作映射(AM)机制，以管理由有限的轮胎-路面摩擦引起的、与状态相关的输入约束。提出了一种数值近似方法来实现AM，从而解决与摩擦约束相关的复杂动力学问题。AM机制还允许学习到的驾驶策略推广到不同的摩擦条件。在我们开发的赛车模拟器中的实验结果表明，所提出的AM-RL方法与传统的基于RL的方法相比，实现了更优越的单圈时间和更好的成功率。驾驶策略与AM的泛化能力也在实验中得到了验证。

🔬 方法详解

问题定义：自动驾驶赛车需要在车辆的操控极限下运行以缩短单圈时间，同时必须遵守物理和安全约束。然而，由于轮胎与路面之间的摩擦力限制，车辆的控制输入（例如转向角和加速度）会受到状态的约束，传统的强化学习方法难以直接处理这种状态相关的约束，导致性能下降或训练不稳定。

核心思路：论文的核心思路是利用动作映射（Action Mapping, AM）机制，将原始的、无约束的动作空间映射到满足状态相关约束的、可行的动作空间。通过这种方式，强化学习智能体可以在可行域内进行探索和学习，从而提高训练效率和性能。AM机制的关键在于能够准确估计和处理由于摩擦力限制而产生的复杂动力学约束。

技术框架：整体框架包括以下几个主要模块：1) 状态观测模块：获取车辆的状态信息，例如速度、位置、姿态等。2) 动作映射模块：根据当前状态，利用数值近似方法计算可行的动作空间，并将原始动作映射到该空间内。3) 强化学习智能体：基于映射后的动作与环境交互，并根据奖励信号更新策略。4) 赛车模拟器：提供车辆动力学模型和环境交互，用于训练和评估智能体。

关键创新：最重要的技术创新点在于动作映射机制的引入和数值近似方法的应用。传统的强化学习方法通常直接在原始动作空间中进行学习，忽略了状态相关的约束。而本文提出的AM机制能够显式地考虑这些约束，从而提高了学习效率和性能。此外，数值近似方法能够有效地处理由于摩擦力限制而产生的复杂动力学约束，使得AM机制能够应用于实际的赛车控制问题。

关键设计：论文采用数值近似方法来实现动作映射，具体来说，通过在当前状态附近进行采样，并利用车辆动力学模型计算每个采样点的可行动作空间。然后，利用这些采样点的信息来近似整个状态空间的可行动作空间。此外，论文还设计了一个奖励函数，鼓励智能体快速完成赛道，同时避免碰撞和超出车辆的物理极限。具体的网络结构和参数设置在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的AM-RL方法在单圈时间上优于传统的RL方法，并且具有更高的成功率。具体来说，AM-RL方法能够更快地学习到有效的驾驶策略，并且在不同的摩擦条件下具有更好的泛化能力。虽然论文中没有给出具体的性能数据和提升幅度，但实验结果表明AM机制能够显著提高自动驾驶赛车的性能。

🎯 应用场景

该研究成果可应用于自动驾驶赛车、高级驾驶辅助系统(ADAS)以及其他需要在物理约束下进行运动规划和控制的领域。通过学习在极限条件下的驾驶策略，可以提高车辆的操控性能和安全性，并为未来的自动驾驶技术发展提供参考。

📄 摘要（原文）

Autonomous race driving poses a complex control challenge as vehicles must be operated at the edge of their handling limits to reduce lap times while respecting physical and safety constraints. This paper presents a novel reinforcement learning (RL)-based approach, incorporating the action mapping (AM) mechanism to manage state-dependent input constraints arising from limited tire-road friction. A numerical approximation method is proposed to implement AM, addressing the complex dynamics associated with the friction constraints. The AM mechanism also allows the learned driving policy to be generalized to different friction conditions. Experimental results in our developed race simulator demonstrate that the proposed AM-RL approach achieves superior lap times and better success rates compared to the conventional RL-based approaches. The generalization capability of driving policy with AM is also validated in the experiments.