DVS-RG: Differential Variable Speed Limits Control using Deep Reinforcement Learning with Graph State Representation

📄 arXiv: 2405.09163v1 📥 PDF

作者: Jingwen Yang, Ping Wang, Fatemeh Golpayegani, Shen Wang

分类: eess.SY

发布日期: 2024-05-15

💡 一句话要点

提出DVS-RG，利用图状态表示的深度强化学习实现差分可变限速控制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可变限速控制 深度强化学习 图神经网络 交通仿真 智能交通系统

📋 核心要点

  1. 现有VSL控制方法忽略了交通状态的图结构信息，无法有效利用空间和时间特征。
  2. DVS-RG利用图神经网络学习交通状态的空间特征，并结合差分限速控制策略，提升控制效果。
  3. 实验表明，DVS-RG在交通效率和安全性方面均优于现有DRL方法，等待时间减少68.44%，潜在碰撞减少15.93%。

📝 摘要（中文）

可变限速(VSL)控制旨在通过根据交通状况在适当位置定制速度限制，从而改善高速公路交通流动性并缓解瓶颈，是一个既成熟又具有挑战性的问题。深度强化学习(DRL)的最新进展已显示出在解决VSL控制问题方面的潜力。然而，这些方法忽略了交通状态固有的图结构，而这可能是更有效VSL控制的关键因素。图结构不仅可以捕获静态空间特征，还可以捕获交通的动态时间特征。因此，我们提出了DVS-RG：基于DRL的差分可变限速控制器，具有图状态表示。DVS-RG动态地为不同位置的每个车道提供不同的速度限制。道路网络拓扑和交通信息（例如，占用率、速度）被集成为DVS-RG的状态空间，以便可以学习空间特征。结合效率和安全性的归一化奖励用于训练VSL控制器，以避免过度低效或低安全性。在SUMO上的仿真研究结果表明，与最先进的DRL方法相比，DRL-RG实现了更高的交通效率（平均等待时间减少到68.44％）并提高了安全措施（潜在碰撞次数减少了15.93％）。

🔬 方法详解

问题定义：论文旨在解决高速公路交通中可变限速控制问题。现有基于深度强化学习的VSL控制方法忽略了交通状态的内在图结构，无法充分利用交通流的空间和时间相关性，导致控制效率和安全性不足。

核心思路：论文的核心思路是将道路网络和交通信息建模为图结构，利用图神经网络学习交通状态的空间特征，并结合深度强化学习算法，实现动态的差分可变限速控制。通过对不同车道设置不同的速度限制，更精细地调控交通流。

技术框架：DVS-RG的整体框架包含以下几个主要模块： 1. 环境建模：使用SUMO交通仿真器模拟高速公路交通环境。 2. 状态表示：将道路网络拓扑和交通信息（如占用率、速度）整合为图结构，作为智能体的状态输入。 3. 动作空间：定义智能体的动作空间为每个车道的速度限制调整量。 4. 奖励函数：设计一个结合效率和安全性的归一化奖励函数，鼓励智能体在提高交通效率的同时，避免降低安全性。 5. 深度强化学习算法：使用深度强化学习算法（具体算法未知）训练智能体，使其学习最优的VSL控制策略。

关键创新：论文的关键创新在于： 1. 图状态表示：将交通状态建模为图结构，能够有效捕获交通流的空间相关性。 2. 差分可变限速控制：允许对不同车道设置不同的速度限制，实现更精细的交通调控。 3. 归一化奖励函数：平衡了交通效率和安全性，避免了单一目标优化可能导致的问题。

关键设计：论文的关键设计包括： 1. 图神经网络结构：具体使用的图神经网络结构未知，但需要能够处理道路网络拓扑和交通信息，并提取有效的空间特征。 2. 奖励函数设计：奖励函数需要综合考虑交通效率（如平均速度、等待时间）和安全性（如碰撞风险），并进行归一化处理，以避免量纲差异带来的影响。 3. 深度强化学习算法选择：选择合适的深度强化学习算法（如DQN、PPO、SAC等，具体选择未知）进行训练，并调整超参数以获得最佳性能。

📊 实验亮点

实验结果表明，DVS-RG在SUMO交通仿真器上取得了显著的性能提升。与最先进的DRL方法相比，DVS-RG能够将平均等待时间减少到68.44%，潜在碰撞次数减少15.93%。这些数据表明，DVS-RG在提高交通效率和安全性方面具有显著优势。

🎯 应用场景

该研究成果可应用于智能交通管理系统，通过动态调整高速公路上的车道速度限制，缓解交通拥堵，提高通行效率，并降低交通事故风险。该技术具有广泛的应用前景，可以提升城市交通的智能化水平，改善居民的出行体验，并为未来的自动驾驶技术提供支持。

📄 摘要（原文）

Variable speed limit (VSL) control is an established yet challenging problem to improve freeway traffic mobility and alleviate bottlenecks by customizing speed limits at proper locations based on traffic conditions. Recent advances in deep reinforcement learning (DRL) have shown promising results in solving VSL control problems by interacting with sophisticated environments. However, the modeling of these methods ignores the inherent graph structure of the traffic state which can be a key factor for more efficient VSL control. Graph structure can not only capture the static spatial feature but also the dynamic temporal features of traffic. Therefore, we propose the DVS-RG: DRL-based differential variable speed limit controller with graph state representation. DVS-RG provides distinct speed limits per lane in different locations dynamically. The road network topology and traffic information(e.g., occupancy, speed) are integrated as the state space of DVS-RG so that the spatial features can be learned. The normalization reward which combines efficiency and safety is used to train the VSL controller to avoid excessive inefficiencies or low safety. The results obtained from the simulation study on SUMO show that DRL-RG achieves higher traffic efficiency (the average waiting time reduced to 68.44\%) and improves the safety measures (the number of potential collision reduced by 15.93\% ) compared to state-of-the-art DRL methods.