Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach

📄 arXiv: 2405.19236v1 📥 PDF

作者: Amir Hossein Karbasi, Hao Yang, Saiedeh Razavi

分类: cs.AI, cs.LG

发布日期: 2024-05-29

备注: TRB 103nd Annual Meeting

💡 一句话要点

提出基于深度强化学习的交通信号控制与自动驾驶协同优化方案，提升交叉口安全性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 交通信号控制 互联自动驾驶车辆 交叉口安全 碰撞时间

📋 核心要点

  1. 交叉口是交通网络中的事故高发地，现有方法难以有效应对复杂交通流带来的安全挑战。
  2. 论文提出一种基于深度强化学习的交通信号控制方法，并结合互联自动驾驶车辆，实现协同优化。
  3. 实验结果表明，该方法能显著减少追尾和交叉冲突，验证了其在提升交叉口安全方面的有效性。

📝 摘要（中文）

本研究探讨了自适应信号控制和互联自动驾驶车辆（CAV）对交叉口安全的影响，交叉口因车辆从不同方向驶来而存在碰撞风险。采用深度强化学习方法，评估CAV和自适应交通信号控制对交通安全的独立和综合影响，重点关注追尾和交叉冲突。研究使用深度Q网络（DQN）来调节交通信号以及CAV和人类驾驶车辆（HDV）的驾驶行为，并使用碰撞时间（TTC）指标评估安全性。结果表明，通过结合CAV和基于DQN的交通信号控制，追尾和交叉冲突显著减少。此外，CAV对安全的长期积极影响与CAV和基于DQN的交通信号控制的短期影响相似。总之，该研究强调了整合CAV和自适应交通信号控制方法以提高交通安全的潜力，为城市官员和交通部门制定有效的交叉口安全策略提供了有价值的见解。

🔬 方法详解

问题定义：论文旨在解决交通网络中交叉口碰撞风险高的问题。现有交通信号控制策略和人类驾驶行为难以应对复杂和动态的交通状况，导致追尾和交叉冲突频发。因此，需要一种能够自适应调整信号控制策略，并与自动驾驶车辆协同工作的方法，以提升交叉口安全性。

核心思路：论文的核心思路是利用深度强化学习（DRL）算法，特别是深度Q网络（DQN），来学习最优的交通信号控制策略，并同时优化互联自动驾驶车辆（CAV）的驾驶行为。通过将交通信号控制和CAV的控制策略集成到一个统一的框架中，实现二者的协同优化，从而最大程度地减少交叉口的冲突和事故风险。

技术框架：整体框架包括以下几个主要模块：1) 交通仿真环境：使用交通仿真软件（如SUMO）模拟真实的交通场景，包括人类驾驶车辆（HDV）和互联自动驾驶车辆（CAV）。2) DQN智能体：DQN智能体负责学习最优的交通信号控制策略和CAV的驾驶行为。智能体通过与仿真环境交互，获取交通状态信息（如车辆位置、速度、加速度等），并根据当前状态选择动作（如信号灯相位切换、车辆加速/减速等）。3) 奖励函数设计：设计合理的奖励函数，用于指导DQN智能体的学习。奖励函数通常包括与交通安全相关的指标，如碰撞时间（TTC）、车辆延误等。4) 训练与评估：通过大量的仿真实验，训练DQN智能体，并评估其在不同交通场景下的性能。

关键创新：论文的关键创新在于将深度强化学习应用于交通信号控制和CAV的协同优化。与传统的交通信号控制方法相比，DQN能够自适应地调整信号控制策略，以应对动态变化的交通状况。此外，通过将CAV的控制策略集成到DQN框架中，实现了交通信号控制和CAV的协同优化，从而进一步提升了交叉口的安全性。

关键设计：在DQN的设计方面，论文可能涉及以下关键细节：1) 状态空间：状态空间需要包含充分的交通信息，如车辆位置、速度、加速度、排队长度等。2) 动作空间：动作空间定义了DQN智能体可以执行的动作，如信号灯相位切换、车辆加速/减速等。3) 奖励函数：奖励函数的设计至关重要，需要综合考虑交通安全、通行效率等因素。例如，可以使用TTC作为奖励函数的负反馈，以减少碰撞风险。4) 网络结构：DQN的网络结构通常采用卷积神经网络（CNN）或循环神经网络（RNN），以提取交通状态的特征。5) 训练参数：需要仔细调整DQN的训练参数，如学习率、折扣因子、探索率等，以保证算法的收敛性和性能。

📊 实验亮点

研究结果表明，结合CAV和基于DQN的交通信号控制能够显著减少追尾和交叉冲突。具体而言，与传统交通信号控制方法相比，该方法能够将交叉口的碰撞风险降低XX%（具体数值未知，需查阅论文原文）。此外，研究还发现，CAV对安全的长期积极影响与CAV和基于DQN的交通信号控制的短期影响相似，这表明CAV在提升交通安全方面具有长期潜力。

🎯 应用场景

该研究成果可应用于智能交通系统，提升城市交通安全和效率。通过部署自适应交通信号控制系统和推广互联自动驾驶车辆，可以有效减少交通事故，缓解交通拥堵，并为未来的智慧城市建设提供技术支撑。该研究还可扩展到其他交通场景，如高速公路匝道控制、车队协同驾驶等。

📄 摘要（原文）

In transportation networks, intersections pose significant risks of collisions due to conflicting movements of vehicles approaching from different directions. To address this issue, various tools can exert influence on traffic safety both directly and indirectly. This study focuses on investigating the impact of adaptive signal control and connected and automated vehicles (CAVs) on intersection safety using a deep reinforcement learning approach. The objective is to assess the individual and combined effects of CAVs and adaptive traffic signal control on traffic safety, considering rear-end and crossing conflicts. The study employs a Deep Q Network (DQN) to regulate traffic signals and driving behaviors of both CAVs and Human Drive Vehicles (HDVs), and uses Time To Collision (TTC) metric to evaluate safety. The findings demonstrate a significant reduction in rear-end and crossing conflicts through the combined implementation of CAVs and DQNs-based traffic signal control. Additionally, the long-term positive effects of CAVs on safety are similar to the short-term effects of combined CAVs and DQNs-based traffic signal control. Overall, the study emphasizes the potential benefits of integrating CAVs and adaptive traffic signal control approaches in order to enhance traffic safety. The findings of this study could provide valuable insights for city officials and transportation authorities in developing effective strategies to improve safety at signalized intersections.