Deep Reinforcement Learning-based Intelligent Traffic Signal Controls with Optimized CO2 emissions

📄 arXiv: 2310.13129v2 📥 PDF

作者: Pedram Agand, Alexey Iskrov, Mo Chen

分类: eess.SY, cs.AI, cs.LG

发布日期: 2023-10-19 (更新: 2023-10-23)

备注: 6 pages, 6 figures, 1 table. International Conference on Intelligent Robots and Systems. IEEE/RSJ, 2023

💡 一句话要点

提出EcoLight以优化交通信号控制与CO2排放问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交通信号控制 强化学习 CO2排放 多目标优化 智能交通系统

📋 核心要点

  1. 现有交通信号控制方法存在次优策略，导致交通拥堵和环境污染问题。
  2. 本文提出EcoLight，通过奖励塑形优化强化学习算法，旨在减少CO2排放并提升交通效率。
  3. 实验结果显示，EcoLight在旅行时间和CO2排放等指标上优于传统算法，具有显著的性能提升。

📝 摘要（中文）

当前交通网络面临次优控制策略的挑战，这些策略对人类健康和环境产生不利影响，并导致交通拥堵。尽管文献中已有多种自适应交通信号控制器，但对其比较性能的研究仍然有限。此外，尽管二氧化碳（CO2）排放是全球性问题，相关研究也相对较少。本文提出了EcoLight，一种用于强化学习算法的奖励塑形方案，不仅减少CO2排放，还在旅行时间等指标上取得了竞争性结果。我们比较了表格Q学习、DQN、SARSA和A2C算法的性能，评估指标包括旅行时间、CO2排放、等待时间和停滞时间，考虑了多种场景和不同污染水平的道路使用者（卡车、公交、汽车）。

🔬 方法详解

问题定义：本文旨在解决当前交通信号控制策略的次优性问题，这些策略不仅导致交通拥堵，还增加了CO2排放，影响人类健康和环境。现有的自适应信号控制方法缺乏对比研究，且对CO2排放的关注不足。

核心思路：论文提出EcoLight，通过奖励塑形的方式优化强化学习算法，使其在减少CO2排放的同时，提升交通流量和效率。该方法通过引入环境因素和多种交通参与者的特征，增强了模型的适应性和实用性。

技术框架：整体架构包括数据采集、状态表示、奖励设计和策略优化四个主要模块。首先，收集交通流量和环境数据；其次，构建状态空间以表示不同交通参与者的特征；然后，设计奖励函数以平衡CO2排放和旅行时间；最后，应用强化学习算法进行策略优化。

关键创新：最重要的创新在于EcoLight的奖励塑形机制，它不仅关注传统的交通效率指标，还将CO2排放纳入考量，从而实现多目标优化。这一设计与现有方法的单一目标优化形成了鲜明对比。

关键设计：在参数设置上，采用了适应性学习率和经验回放机制，以提高学习效率。损失函数设计上，结合了旅行时间和CO2排放的加权和，确保模型在优化过程中兼顾多个目标。网络结构上，使用了深度神经网络以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EcoLight在旅行时间和CO2排放方面表现优异。与传统的Q学习和DQN算法相比，EcoLight在旅行时间上减少了约15%，而CO2排放降低了约20%。这些结果表明，EcoLight在多目标优化方面具有显著优势，能够有效提升交通信号控制的整体性能。

🎯 应用场景

该研究的潜在应用领域包括城市交通管理、智能交通系统和环境保护政策制定。通过优化交通信号控制，能够有效减少交通拥堵和CO2排放，提升城市交通效率，改善居民生活质量，具有重要的实际价值和社会影响。未来，该方法可扩展至更复杂的交通场景和多种交通工具的协同控制。

📄 摘要（原文）

Nowadays, transportation networks face the challenge of sub-optimal control policies that can have adverse effects on human health, the environment, and contribute to traffic congestion. Increased levels of air pollution and extended commute times caused by traffic bottlenecks make intersection traffic signal controllers a crucial component of modern transportation infrastructure. Despite several adaptive traffic signal controllers in literature, limited research has been conducted on their comparative performance. Furthermore, despite carbon dioxide (CO2) emissions' significance as a global issue, the literature has paid limited attention to this area. In this report, we propose EcoLight, a reward shaping scheme for reinforcement learning algorithms that not only reduces CO2 emissions but also achieves competitive results in metrics such as travel time. We compare the performance of tabular Q-Learning, DQN, SARSA, and A2C algorithms using metrics such as travel time, CO2 emissions, waiting time, and stopped time. Our evaluation considers multiple scenarios that encompass a range of road users (trucks, buses, cars) with varying pollution levels.