A Survey of Reinforcement Learning-Based Motion Planning for Autonomous Driving: Lessons Learned from a Driving Task Perspective

📄 arXiv: 2503.23650v1 📥 PDF

作者: Zhuoren Li, Guizhe Jin, Ran Yu, Zhiwen Chen, Nan Li, Wei Han, Lu Xiong, Bo Leng, Jia Hu, Ilya Kolmanovsky, Dimitar Filev

分类: cs.LG, cs.RO

发布日期: 2025-03-31

备注: 21 pages, 5 figures

💡 一句话要点

综述基于强化学习的自动驾驶运动规划，从驾驶任务视角提炼经验与挑战。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动驾驶 运动规划 驾驶任务 深度学习

📋 核心要点

  1. 现有自动驾驶运动规划方法难以适应复杂动态环境，且缺乏针对不同驾驶任务的系统性设计指导。
  2. 该综述从驾驶任务的视角出发，系统性地分析了强化学习在自动驾驶运动规划中的应用，并总结了设计经验。
  3. 通过分析不同场景和任务需求对强化学习设计选择的影响，为未来实施提供了指导，并探讨了前沿挑战。

📝 摘要（中文）

强化学习(RL)在复杂、动态的决策任务中具有探索和优化策略的能力，已成为解决自动驾驶(AD)运动规划(MoP)挑战的一种有前景的方法。尽管RL和AD领域发展迅速，但针对不同驾驶任务量身定制的RL设计过程的系统描述和解释仍然不足。本综述全面回顾了基于RL的AD运动规划，重点关注特定任务视角的经验教训。首先概述了RL方法的基本原理，然后调研了它们在MoP中的应用，分析了特定场景的特征和任务需求，以阐明它们对RL设计选择的影响。在此分析的基础上，总结了关键的设计经验，从各种驾驶任务应用中提取了见解，并为未来的实施提供了指导。此外，还研究了基于RL的MoP的前沿挑战，回顾了解决这些挑战的最新努力，并提出了克服未解决问题的策略。

🔬 方法详解

问题定义：自动驾驶运动规划旨在为车辆生成安全、高效的行驶轨迹。现有方法在处理复杂、动态环境时存在不足，例如难以应对突发事件、难以保证规划的全局最优性等。此外，针对不同的驾驶任务（如高速公路巡航、城市道路行驶、泊车等），需要不同的运动规划策略，而现有方法缺乏针对特定任务的系统性设计指导。

核心思路：本综述的核心思路是从驾驶任务的视角出发，分析不同任务对强化学习设计的影响。通过调研基于强化学习的运动规划方法在不同驾驶任务中的应用，总结关键的设计经验，并为未来的实施提供指导。这种以任务为中心的分析方法有助于更好地理解强化学习在自动驾驶运动规划中的优势和局限性。

技术框架：该综述首先概述了强化学习的基本原理，包括马尔可夫决策过程、策略梯度方法、值函数方法等。然后，调研了强化学习在自动驾驶运动规划中的应用，按照不同的驾驶任务（如车道保持、换道、跟车、避障、泊车等）进行分类。对于每个驾驶任务，分析了其特点和需求，以及相应的强化学习设计选择，例如状态空间、动作空间、奖励函数、学习算法等。最后，总结了关键的设计经验，并探讨了前沿挑战。

关键创新：该综述的创新之处在于其以驾驶任务为中心的分析视角。以往的综述通常侧重于强化学习算法本身，而忽略了不同驾驶任务对算法设计的影响。本综述通过分析不同任务的需求，揭示了强化学习设计选择背后的逻辑，为未来的研究提供了有价值的指导。

关键设计：在强化学习设计中，状态空间需要包含车辆的位置、速度、加速度等信息，以及周围环境的信息，如其他车辆的位置、速度等。动作空间可以包括车辆的加速度、转向角等。奖励函数需要综合考虑安全性、舒适性和效率，例如避免碰撞、保持车道、平稳行驶、尽快到达目的地等。学习算法可以选择深度Q网络(DQN)、策略梯度方法(如PPO、TRPO)等。具体的参数设置需要根据具体的驾驶任务和环境进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述总结了基于强化学习的自动驾驶运动规划的关键设计经验，并从不同驾驶任务的应用中提取了见解。例如，在高速公路巡航任务中，需要重点关注安全性和效率，而在城市道路行驶任务中，需要更加关注对交通规则的遵守和对行人、非机动车的避让。这些经验可以帮助研究人员更好地设计强化学习算法，从而提高自动驾驶系统的性能。

🎯 应用场景

该研究成果可应用于自动驾驶系统的运动规划模块，提升自动驾驶车辆在复杂环境下的决策能力和安全性。通过针对不同驾驶任务进行优化，可以提高自动驾驶系统的适应性和鲁棒性。此外，该研究还可以为自动驾驶领域的从业者提供参考，指导他们设计更有效的强化学习算法。

📄 摘要（原文）

Reinforcement learning (RL), with its ability to explore and optimize policies in complex, dynamic decision-making tasks, has emerged as a promising approach to addressing motion planning (MoP) challenges in autonomous driving (AD). Despite rapid advancements in RL and AD, a systematic description and interpretation of the RL design process tailored to diverse driving tasks remains underdeveloped. This survey provides a comprehensive review of RL-based MoP for AD, focusing on lessons from task-specific perspectives. We first outline the fundamentals of RL methodologies, and then survey their applications in MoP, analyzing scenario-specific features and task requirements to shed light on their influence on RL design choices. Building on this analysis, we summarize key design experiences, extract insights from various driving task applications, and provide guidance for future implementations. Additionally, we examine the frontier challenges in RL-based MoP, review recent efforts to addresse these challenges, and propose strategies for overcoming unresolved issues.