Reachable Sets-based Trajectory Planning Combining Reinforcement Learning and iLQR
作者: Wenjie Huang, Yang Li, Shijie Yuan, Jingjia Teng, Hongmao Qin, Yougang Bian
分类: eess.SY, cs.RO
发布日期: 2025-03-19 (更新: 2025-05-21)
备注: We sincerely request the withdrawal of this paper. After further research and review, we have found that certain parts of the content contain uncertainties and are not sufficient to support the conclusions previously drawn. To avoid any potential misunderstanding or misguidance to the research community, we have decided to voluntarily withdraw the manuscript
💡 一句话要点
提出基于风险可达集的强化学习与iLQR融合轨迹规划方法，提升智能车辆在复杂环境下的安全性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 轨迹规划 风险可达集 强化学习 迭代二次调节器 智能车辆 自动驾驶 驾驶风险场
📋 核心要点
- 现有轨迹规划方法忽略了驾驶风险场，未能充分考虑可行区域内风险分布对轨迹规划的影响，导致安全性不足。
- 该方法融合驾驶风险场构建可达集，利用强化学习生成安全初始轨迹，并使用约束iLQR进行优化，提升轨迹安全性。
- 仿真结果表明，该方法能在保证舒适性和效率的同时，使轨迹避开高风险区域，有效提升智能车辆的安全性。
📝 摘要（中文）
本文提出了一种基于风险可达集的智能车辆轨迹规划方法，旨在提高轨迹规划的安全性。该方法首先构建包含驾驶风险场的可达集，以更准确地评估和规避可行区域内的潜在风险。然后，基于安全强化学习生成初始轨迹，并将其投影到可达集上。最后，引入基于约束迭代二次调节器的轨迹规划方法来优化初始解，确保规划的轨迹在舒适性、安全性和效率方面达到最优。通过高速变道场景的仿真测试表明，该方法能够保证轨迹的舒适性和驾驶效率，生成的轨迹位于高风险边界之外，从而确保车辆运行过程中的安全性。
🔬 方法详解
问题定义：现有智能车辆轨迹规划方法在复杂驾驶场景中，往往忽略了环境中的风险因素，例如其他车辆的潜在行为、道路状况等，导致规划的轨迹可能存在安全隐患。尤其是在高风险区域，传统的轨迹规划方法难以保证车辆的安全行驶。因此，需要一种能够有效评估和规避风险的轨迹规划方法。
核心思路：本文的核心思路是将驾驶风险场融入到可达集的概念中，构建风险可达集。通过风险可达集，可以更准确地评估车辆在不同轨迹下的潜在风险。然后，利用强化学习生成一个初步的安全轨迹，并将其投影到风险可达集上，确保初始轨迹的安全性。最后，使用迭代二次调节器（iLQR）对初始轨迹进行优化，以提高轨迹的舒适性和效率，同时保持其安全性。
技术框架：该轨迹规划方法主要包含三个阶段：1) 风险可达集构建：根据驾驶环境构建驾驶风险场，并将其融入到可达集中，得到风险可达集。2) 初始轨迹生成：利用强化学习算法，在考虑风险因素的情况下，生成一个初步的安全轨迹，并将其投影到风险可达集上。3) 轨迹优化：使用约束迭代二次调节器（iLQR）对初始轨迹进行优化，以提高轨迹的舒适性和效率，同时保持其安全性。
关键创新：该方法最重要的技术创新点在于将驾驶风险场与可达集相结合，构建了风险可达集。这使得轨迹规划能够更准确地评估和规避环境中的风险，从而提高轨迹的安全性。此外，结合强化学习和iLQR，能够在保证安全性的前提下，优化轨迹的舒适性和效率。
关键设计：在风险可达集构建中，需要合理定义驾驶风险场的计算方法，例如可以考虑其他车辆的运动状态、道路状况等因素。在强化学习中，需要设计合适的奖励函数，以鼓励车辆选择安全的轨迹。在iLQR优化中，需要设置合适的约束条件，以保证轨迹的安全性，例如避免进入高风险区域。
🖼️ 关键图片
📊 实验亮点
仿真实验结果表明，该方法能够生成位于高风险边界之外的轨迹，有效避免潜在的碰撞风险。与传统轨迹规划方法相比，该方法在保证轨迹舒适性和驾驶效率的同时，显著提高了轨迹的安全性。具体性能数据（例如碰撞率、风险指标等）未知，但定性结果表明该方法具有显著优势。
🎯 应用场景
该研究成果可应用于自动驾驶车辆、高级驾驶辅助系统（ADAS）等领域，尤其适用于复杂交通环境下的轨迹规划。通过提高轨迹规划的安全性，可以有效降低交通事故的发生率，提升自动驾驶系统的可靠性，并为乘客提供更安全、舒适的出行体验。未来，该方法可以进一步扩展到更复杂的场景，例如城市道路、拥堵路段等。
📄 摘要（原文）
The driving risk field is applicable to more complex driving scenarios, providing new approaches for safety decision-making and active vehicle control in intricate environments. However, existing research often overlooks the driving risk field and fails to consider the impact of risk distribution within drivable areas on trajectory planning, which poses challenges for enhancing safety. This paper proposes a trajectory planning method for intelligent vehicles based on the risk reachable set to further improve the safety of trajectory planning. First, we construct the reachable set incorporating the driving risk field to more accurately assess and avoid potential risks in drivable areas. Then, the initial trajectory is generated based on safe reinforcement learning and projected onto the reachable set. Finally, we introduce a trajectory planning method based on a constrained iterative quadratic regulator to optimize the initial solution, ensuring that the planned trajectory achieves optimal comfort, safety, and efficiency. We conduct simulation tests of trajectory planning in high-speed lane-changing scenarios. The results indicate that the proposed method can guarantee trajectory comfort and driving efficiency, with the generated trajectory situated outside high-risk boundaries, thereby ensuring vehicle safety during operation.