A Nested Graph Reinforcement Learning-based Decision-making Strategy for Eco-platooning

📄 arXiv: 2408.07578v1 📥 PDF

作者: Xin Gao, Xueyuan Li, Hao Liu, Ao Li, Zhaoyang Ma, Zirui Li

分类: cs.MA, cs.LG

发布日期: 2024-08-14

备注: 14 pages, 18 figures

💡 一句话要点

提出基于嵌套图强化学习的决策策略，解决大规模混合车队中的拥堵和能耗问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 车队控制 强化学习 图神经网络 智能交通 协同决策

📋 核心要点

  1. 大规模混合车队中，车辆异构性和交通状况的不确定性导致虚拟瓶颈，降低了吞吐量并增加了能耗。
  2. 论文提出基于嵌套图强化学习的决策策略，通过嵌套交通图表示和多头注意力机制，提升协同决策能力。
  3. 实验结果表明，该策略能有效提高吞吐量（10%）并降低能耗（9%），验证了其在实际应用中的潜力。

📝 摘要（中文）

本文提出了一种基于嵌套图强化学习的决策策略，旨在解决大规模混合车队中车辆异构性和不可预测交通状况导致的虚拟瓶颈问题，从而优化交通流量和提高能源效率。该策略通过改进协同决策，确保能源效率并缓解拥堵。论文提出了一种嵌套交通图表示理论，用于映射非欧空间中车辆和车队之间的动态交互。通过将时空加权图融入多头注意力机制，增强了模型处理局部和全局数据的能力。此外，还开发了一个嵌套图强化学习框架，以增强车队的自迭代学习能力。使用I-24数据集进行的实验验证了该策略的有效性，结果表明，与基线相比，吞吐量提高了10%，能耗降低了9%。提高智能网联车辆的渗透率显著提高了交通吞吐量，但同时也增加了能源消耗。

🔬 方法详解

问题定义：论文旨在解决大规模混合车队中，由于车辆异构性和交通状况的不可预测性导致的虚拟瓶颈问题。现有方法难以有效处理车队内部和车队之间的复杂交互关系，导致交通吞吐量降低和能源消耗增加。

核心思路：论文的核心思路是将车队交通环境建模为嵌套图结构，利用图神经网络学习车辆和车队之间的动态交互关系，并结合强化学习进行决策优化。通过这种方式，能够更好地捕捉全局信息，实现协同决策，从而缓解拥堵并降低能耗。

技术框架：该决策框架主要包含三个部分：1) 嵌套交通图表示：将车辆和车队之间的关系建模为嵌套图结构，其中节点表示车辆或车队，边表示它们之间的交互关系。2) 基于多头注意力机制的图神经网络：利用时空加权图和多头注意力机制，学习节点和边的表示，从而捕捉局部和全局信息。3) 嵌套图强化学习框架：利用强化学习算法，优化车队的决策策略，以最大化交通吞吐量并最小化能源消耗。

关键创新：该论文的关键创新在于提出了嵌套图表示方法，能够有效地建模车队内部和车队之间的复杂交互关系。此外，将时空加权图融入多头注意力机制，增强了模型处理局部和全局数据的能力。嵌套图强化学习框架则提升了车队的自迭代学习能力。

关键设计：嵌套图的构建方式，包括节点和边的定义，以及边的权重计算方法。多头注意力机制中，头的数量和维度，以及注意力权重的计算方式。强化学习算法的选择，包括状态、动作、奖励函数的设计，以及探索-利用策略的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与基线方法相比，该策略能够将交通吞吐量提高10%，同时将能源消耗降低9%。此外，实验还发现，提高智能网联车辆的渗透率可以显著提高交通吞吐量，但同时也可能增加能源消耗。这些结果验证了该策略在实际应用中的有效性和潜力。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车队管理、以及城市交通规划等领域。通过优化车队协同决策，可以有效提高道路通行效率，降低能源消耗，并减少交通拥堵，从而改善城市交通状况，促进可持续发展。

📄 摘要（原文）

Platooning technology is renowned for its precise vehicle control, traffic flow optimization, and energy efficiency enhancement. However, in large-scale mixed platoons, vehicle heterogeneity and unpredictable traffic conditions lead to virtual bottlenecks. These bottlenecks result in reduced traffic throughput and increased energy consumption within the platoon. To address these challenges, we introduce a decision-making strategy based on nested graph reinforcement learning. This strategy improves collaborative decision-making, ensuring energy efficiency and alleviating congestion. We propose a theory of nested traffic graph representation that maps dynamic interactions between vehicles and platoons in non-Euclidean spaces. By incorporating spatio-temporal weighted graph into a multi-head attention mechanism, we further enhance the model's capacity to process both local and global data. Additionally, we have developed a nested graph reinforcement learning framework to enhance the self-iterative learning capabilities of platooning. Using the I-24 dataset, we designed and conducted comparative algorithm experiments, generalizability testing, and permeability ablation experiments, thereby validating the proposed strategy's effectiveness. Compared to the baseline, our strategy increases throughput by 10% and decreases energy use by 9%. Specifically, increasing the penetration rate of CAVs significantly enhances traffic throughput, though it also increases energy consumption.