CAV-AHDV-CAV: Mitigating Traffic Oscillations for CAVs through a Novel Car-Following Structure and Reinforcement Learning

📄 arXiv: 2407.02517v2 📥 PDF

作者: Xianda Chen, PakHin Tiu, Yihuai Zhang, Xinhu Zheng, Meixin Zhu

分类: cs.RO, cs.AI

发布日期: 2024-06-23 (更新: 2024-07-11)

备注: Due to errors identified in the experimental methodology and results sections, we request to withdraw this paper

💡 一句话要点

提出基于强化学习的CAV车队控制框架，缓解混合交通流中的振荡现象

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 互联自动驾驶车辆 强化学习 交通振荡 车队控制 混合交通流

📋 核心要点

  1. 混合交通流中HDV引起的交通振荡是挑战，传统方法难以有效利用CAV间的信息。
  2. 提出“CAV-AHDV-CAV”框架，将HDV车队视为整体，利用强化学习优化CAV控制策略。
  3. 实验表明，该模型在多个数据集上均优于基线，有效降低了碰撞风险和时间间隔标准差。

📝 摘要（中文）

本文提出了一种针对混合交通流中互联自动驾驶车辆（CAV）的新型车队控制框架，旨在缓解交通振荡（即“走走停停”模式）。该框架利用CAV间的信息共享优势，预测并抑制减速波的传播。核心思想是将两个CAV之间的多个人工驾驶车辆（HDV）视为一个整体“CAV-AHDV-CAV”结构，从而消除个体驾驶员行为的噪声。该方法采用深度强化学习分析车辆平衡状态，并融合多种状态信息。在包含超过70,000个车队实例的多个数据集（HighD、NGSIM、SPMD、Waymo、Lyft）上进行训练和测试，结果表明，该模型在避免碰撞、维持与前后车辆的平衡以及实现最低时间间隔标准差方面均优于基线方法。该方法能够有效缓解交通振荡，提高交通流效率并增强整体安全性。

🔬 方法详解

问题定义：论文旨在解决混合交通流中，由于人工驾驶车辆（HDV）的随机性和反应滞后导致的交通振荡问题。现有的CAV控制方法通常难以有效处理HDV的复杂行为，导致交通流不稳定，甚至出现“走走停停”的现象。这种振荡会降低交通效率，增加燃油消耗，并可能引发交通事故。

核心思路：论文的核心思路是将两个CAV之间的多个HDV视为一个整体，构成“CAV-AHDV-CAV”的结构。这样做的目的是消除个体HDV驾驶行为的噪声，将HDV车队作为一个整体来考虑，从而简化CAV的控制策略。CAV通过感知前后车辆的状态，并利用强化学习来优化自身的行为，以维持交通流的稳定。

技术框架：该方法的技术框架主要包括以下几个部分：1) 状态感知模块：CAV感知自身以及前后车辆的状态信息，包括速度、位置、加速度等。2) 状态融合模块：将感知到的状态信息进行融合，形成一个综合的状态表示，用于强化学习的输入。3) 强化学习模块：使用深度强化学习算法，训练CAV的控制策略。该模块根据当前状态，输出CAV的控制指令，例如加速度或减速度。4) 动作执行模块：将强化学习模块输出的控制指令转化为实际的车辆动作。

关键创新：该论文的关键创新在于提出了“CAV-AHDV-CAV”的车队结构，将HDV车队视为一个整体，从而简化了CAV的控制问题。此外，论文还采用了状态融合策略，将多种状态信息进行综合考虑，提高了控制策略的鲁棒性。与现有方法相比，该方法能够更好地处理HDV的复杂行为，从而更有效地缓解交通振荡。

关键设计：论文中使用了深度强化学习算法来训练CAV的控制策略。具体的网络结构和损失函数在论文中未详细说明，属于未知信息。但是，可以推断，损失函数的设计目标是最小化碰撞风险，维持与前后车辆的平衡，并降低时间间隔的标准差。此外，状态融合模块的设计也至关重要，需要选择合适的状态特征，并采用合适的融合方法，以获得一个有效的状态表示。

🖼️ 关键图片

img_0

📊 实验亮点

该模型在包含超过70,000个车队实例的多个数据集（HighD、NGSIM、SPMD、Waymo、Lyft）上进行了训练和测试，实验结果表明，该模型在避免碰撞、维持与前后车辆的平衡以及实现最低时间间隔标准差方面均优于基线方法。具体提升幅度未知，但整体性能提升显著。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车辆控制等领域。通过部署该模型，可以提高混合交通流的效率和安全性，减少交通拥堵和事故发生率。未来，该技术有望推广到更复杂的交通场景，例如城市道路网络和高速公路。

📄 摘要（原文）

Connected and Automated Vehicles (CAVs) offer a promising solution to the challenges of mixed traffic with both CAVs and Human-Driven Vehicles (HDVs). A significant hurdle in such scenarios is traffic oscillation, or the "stop-and-go" pattern, during car-following situations. While HDVs rely on limited information, CAVs can leverage data from other CAVs for better decision-making. This allows CAVs to anticipate and mitigate the spread of deceleration waves that worsen traffic flow. We propose a novel "CAV-AHDV-CAV" car-following framework that treats the sequence of HDVs between two CAVs as a single entity, eliminating noise from individual driver behaviors. This deep reinforcement learning approach analyzes vehicle equilibrium states and employs a state fusion strategy. Trained and tested on diverse datasets (HighD, NGSIM, SPMD, Waymo, Lyft) encompassing over 70,000 car-following instances, our model outperforms baselines in collision avoidance, maintaining equilibrium with both preceding and leading vehicles and achieving the lowest standard deviation of time headway. These results demonstrate the effectiveness of our approach in developing robust CAV control strategies for mixed traffic. Our model has the potential to mitigate traffic oscillation, improve traffic flow efficiency, and enhance overall safety.