Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control

📄 arXiv: 2407.08964v1 📥 PDF

作者: Sicong Jiang, Seongjin Choi, Lijun Sun

分类: cs.LG, cs.RO

发布日期: 2024-07-12

💡 一句话要点

提出通信感知强化学习(CA-RL)以提升CACC系统中MARL的可扩展性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 合作式自适应巡航控制 多智能体强化学习 通信感知 可扩展性 智能交通系统

📋 核心要点

  1. MARL在CACC中面临可扩展性挑战，车辆数量变化会导致性能下降。
  2. CA-RL通过通信感知模块提取和压缩车辆通信信息，实现高效信息传播。
  3. 实验表明，CA-RL在可扩展性、鲁棒性和整体性能方面优于基线方法。

📝 摘要（中文）

合作式自适应巡航控制(CACC)在提升互联自动驾驶车辆(CAV)的交通效率和安全性方面起着关键作用。强化学习(RL)已被证明在优化CACC中的复杂决策过程方面有效，从而提高了系统性能和适应性。在RL方法中，多智能体强化学习(MARL)通过集中式训练和分散式执行(CTDE)在多个CAV之间实现协调行动，显示出卓越的潜力。然而，MARL常常面临可扩展性问题，尤其是在CACC车辆突然加入或离开车队时，导致性能下降。为了解决这些挑战，我们提出了通信感知强化学习(CA-RL)。CA-RL包含一个通信感知模块，该模块通过前向和后向信息传输模块提取和压缩车辆通信信息。这实现了CACC交通流内高效的循环信息传播，确保策略一致性，并减轻MARL在CACC中的可扩展性问题。实验结果表明，CA-RL在各种交通场景中显著优于基线方法，在保持可靠性能的同时，实现了卓越的可扩展性、鲁棒性和整体系统性能，即使参与车辆的数量发生变化。

🔬 方法详解

问题定义：论文旨在解决CACC系统中，多智能体强化学习(MARL)在车辆数量动态变化时面临的可扩展性问题。当车辆加入或离开车队时，传统的MARL方法难以维持策略的一致性，导致系统性能下降。现有方法无法有效利用车辆间的通信信息，从而限制了其适应性和鲁棒性。

核心思路：论文的核心思路是引入通信感知模块，使智能体能够有效地利用车辆间的通信信息。通过提取和压缩通信信息，CA-RL能够实现高效的循环信息传播，从而确保策略的一致性，并提高系统对车辆数量变化的适应性。这种设计旨在克服传统MARL方法在动态环境下的局限性。

技术框架：CA-RL的整体框架包含以下主要模块：1) 强化学习智能体：负责车辆的决策控制；2) 通信感知模块：包含前向和后向信息传输模块，用于提取和压缩车辆通信信息；3) 策略网络：基于通信感知模块的输出，生成车辆的控制策略。整个流程是，车辆首先通过通信感知模块获取周围车辆的信息，然后策略网络基于这些信息生成控制指令，最后车辆执行这些指令。

关键创新：最重要的技术创新点在于通信感知模块的设计。该模块通过前向和后向信息传输机制，实现了车辆间信息的有效传递和融合。与传统MARL方法相比，CA-RL能够更好地利用车辆间的通信信息，从而提高策略的一致性和系统的可扩展性。这种通信感知的设计是解决CACC中MARL可扩展性问题的关键。

关键设计：论文中关键的设计包括：1) 前向和后向信息传输模块的具体实现方式，例如采用循环神经网络(RNN)或Transformer等结构；2) 通信信息的压缩方法，例如使用自编码器或注意力机制；3) 强化学习算法的选择，例如采用Actor-Critic或DQN等算法；4) 奖励函数的设计，需要考虑交通效率、安全性和舒适性等因素。这些设计细节直接影响CA-RL的性能和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CA-RL在各种交通场景中显著优于基线方法。具体而言，CA-RL在可扩展性方面表现出色，即使参与车辆的数量发生变化，也能保持可靠的性能。此外，CA-RL在鲁棒性和整体系统性能方面也优于传统MARL方法，证明了通信感知模块的有效性。具体性能提升数据未知，但摘要强调了“显著优于”基线方法。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车队管理、以及其他需要多智能体协作的控制场景。通过提升CACC系统的可扩展性和鲁棒性，可以有效提高交通效率、降低交通事故风险，并改善驾驶体验。未来，该技术有望在城市交通管理、物流运输等领域发挥重要作用。

📄 摘要（原文）

Cooperative Adaptive Cruise Control (CACC) plays a pivotal role in enhancing traffic efficiency and safety in Connected and Autonomous Vehicles (CAVs). Reinforcement Learning (RL) has proven effective in optimizing complex decision-making processes in CACC, leading to improved system performance and adaptability. Among RL approaches, Multi-Agent Reinforcement Learning (MARL) has shown remarkable potential by enabling coordinated actions among multiple CAVs through Centralized Training with Decentralized Execution (CTDE). However, MARL often faces scalability issues, particularly when CACC vehicles suddenly join or leave the platoon, resulting in performance degradation. To address these challenges, we propose Communication-Aware Reinforcement Learning (CA-RL). CA-RL includes a communication-aware module that extracts and compresses vehicle communication information through forward and backward information transmission modules. This enables efficient cyclic information propagation within the CACC traffic flow, ensuring policy consistency and mitigating the scalability problems of MARL in CACC. Experimental results demonstrate that CA-RL significantly outperforms baseline methods in various traffic scenarios, achieving superior scalability, robustness, and overall system performance while maintaining reliable performance despite changes in the number of participating vehicles.