Risk-anticipatory autonomous driving strategies considering vehicles' weights, based on hierarchical deep reinforcement learning
作者: Di Chen, Hao Li, Zhicheng Jin, Huizhao Tu, Meixin Zhu
分类: cs.RO, cs.LG
发布日期: 2023-12-27 (更新: 2024-05-07)
备注: 14 pages, 5 figures, 6 tables
💡 一句话要点
提出基于分层深度强化学习的风险预测自动驾驶策略，考虑车辆重量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自动驾驶 风险预测 深度强化学习 分层强化学习 车辆重量 混合动作空间 注意力机制
📋 核心要点
- 现有自动驾驶策略较少考虑车辆重量，忽略了重型车辆碰撞事故的严重性。
- 提出一种基于风险预测的分层深度强化学习方法，将车辆重量纳入风险评估，并设计混合动作空间。
- 实验结果表明，该策略能有效降低潜在事故的概率和后果，同时保持驾驶效率。
📝 摘要（中文）
本文提出了一种基于风险预测的自动驾驶策略，该策略考虑了周围车辆的重量，并使用分层深度强化学习。基于风险场理论，提出了一个整合周围车辆重量的风险指标，并将其纳入自动驾驶决策中。设计了一种混合动作空间，允许车辆进行左车道变换、右车道变换和跟车行驶，使自动驾驶车辆能够在可行的情况下更自由、更真实地行动。为了解决上述混合决策问题，开发了一种带有注意力机制的分层近端策略优化（AT-HPPO）算法，该算法在保持稳定性能的同时具有很高的鲁棒性和泛化性。提出了一种新的指标，即潜在冲突能量（PCEC），从潜在事故后果的角度评估所开发的自动驾驶策略的性能。仿真和数据集上的性能评估结果表明，该模型提供的驾驶策略既降低了潜在事故的可能性，也降低了潜在事故的后果，同时保持了驾驶效率。该方法对于重型车辆占交通比例较高的公路上的自动驾驶车辆尤其有意义。
🔬 方法详解
问题定义：论文旨在解决自动驾驶车辆在复杂交通环境中，如何根据周围车辆的重量，制定风险感知的驾驶策略，从而降低潜在事故的发生概率和严重程度。现有方法通常忽略车辆重量这一重要因素，导致在重型车辆较多的场景下，风险评估不准确，驾驶策略不够安全。
核心思路：论文的核心思路是将周围车辆的重量纳入风险评估体系，通过风险场理论构建风险指标，并将其融入到深度强化学习的决策过程中。同时，设计混合动作空间，使自动驾驶车辆能够更灵活地选择驾驶行为，从而在保证安全的前提下，提高驾驶效率。
技术框架：整体框架采用分层深度强化学习（Hierarchical Deep Reinforcement Learning, HRL）。顶层策略（High-Level Policy）负责选择宏观动作，如换道或跟车；底层策略（Low-Level Policy）负责执行具体的动作，如加速或减速。该框架包含以下主要模块：1) 风险评估模块：基于风险场理论，计算周围车辆的风险值，并将其整合为一个综合风险指标。2) 混合动作空间设计：允许车辆进行左车道变换、右车道变换和跟车行驶等多种动作选择。3) 分层近端策略优化（HPPO）算法：使用HPPO算法训练分层策略，并引入注意力机制（AT-HPPO）以提高算法的鲁棒性和泛化性。
关键创新：论文的关键创新在于：1) 提出了一个整合周围车辆重量的风险指标，该指标能够更准确地评估潜在的碰撞风险。2) 开发了一种带有注意力机制的分层近端策略优化（AT-HPPO）算法，该算法能够有效地解决混合动作空间下的决策问题，并具有良好的鲁棒性和泛化性。3) 提出了潜在冲突能量（PCEC）指标，用于评估自动驾驶策略在降低潜在事故后果方面的性能。
关键设计：在风险评估模块中，风险场强度与车辆重量成正比。在HPPO算法中，注意力机制用于选择与当前状态相关的特征，从而提高策略的性能。损失函数包括策略损失、价值损失和熵正则化项，以保证策略的稳定性和探索性。具体参数设置未知。
📊 实验亮点
在仿真和数据集上的实验结果表明，该模型能够有效降低潜在事故的概率和后果，同时保持驾驶效率。具体而言，与基线方法相比，该模型在降低PCEC指标方面表现出显著优势，表明其能够有效降低潜在事故的严重程度。具体的性能数据未知。
🎯 应用场景
该研究成果可应用于各种自动驾驶场景，尤其是在高速公路等重型车辆较多的环境中。通过考虑车辆重量，可以提高自动驾驶车辆的安全性，降低交通事故的发生率和严重程度。此外，该方法还可以应用于智能交通系统，用于优化交通流量，提高道路利用率。
📄 摘要（原文）
Autonomous vehicles (AVs) have the potential to prevent accidents caused by drivers errors and reduce road traffic risks. Due to the nature of heavy vehicles, whose collisions cause more serious crashes, the weights of vehicles need to be considered when making driving strategies aimed at reducing the potential risks and their consequences in the context of autonomous driving. This study develops an autonomous driving strategy based on risk anticipation, considering the weights of surrounding vehicles and using hierarchical deep reinforcement learning. A risk indicator integrating surrounding vehicles weights, based on the risk field theory, is proposed and incorporated into autonomous driving decisions. A hybrid action space is designed to allow for left lane changes, right lane changes and car-following, which enables AVs to act more freely and realistically whenever possible. To solve the above hybrid decision-making problem, a hierarchical proximal policy optimization (HPPO) algorithm with an attention mechanism (AT-HPPO) is developed, providing great advantages in maintaining stable performance with high robustness and generalization. An indicator, potential collision energy in conflicts (PCEC), is newly proposed to evaluate the performance of the developed AV driving strategy from the perspective of the consequences of potential accidents. The performance evaluation results in simulation and dataset demonstrate that our model provides driving strategies that reduce both the likelihood and consequences of potential accidents, at the same time maintaining driving efficiency. The developed method is especially meaningful for AVs driving on highways, where heavy vehicles make up a high proportion of the traffic.