Macroscopic Characteristics of Mixed Traffic Flow with Deep Reinforcement Learning Based Automated and Human-Driven Vehicles

📄 arXiv: 2603.25328v1 📥 PDF

作者: Pankaj Kumar, Pranamesh Chakraborty, Subrahmanya Swamy Peruru

分类: cs.AI

发布日期: 2026-03-26

备注: Total 5 figures and 2 table

💡 一句话要点

基于深度强化学习的自动驾驶车辆提升混合交通流的宏观性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 深度强化学习 自动驾驶 混合交通流 交通仿真 燃油效率

📋 核心要点

  1. 传统车辆跟随模型难以适应复杂交通场景，且忽略燃油效率，限制了自动驾驶车辆在混合交通流中的应用。
  2. 论文提出基于TD3的深度强化学习方法，训练自动驾驶车辆与人类驾驶车辆交互，优化交通流的宏观特性。
  3. 实验表明，该方法可显著提升道路通行能力和燃油效率，尤其是在较高速度下，燃油效率提升尤为明显。

📝 摘要（中文）

在混合交通中，自动驾驶车辆（AV）与人类驾驶车辆共存，AV控制面临着平衡安全性、效率、舒适性、燃油效率以及遵守交通规则等诸多挑战，同时需要捕捉异构驾驶员行为。传统的车辆跟随模型，如智能驾驶员模型（IDM），通常难以推广到不同的交通场景，并且通常不考虑燃油效率，这促使人们使用基于学习的方法。尽管深度强化学习（DRL）在车辆跟随条件下表现出强大的微观性能，但其宏观交通流特性仍未得到充分探索。本研究侧重于分析混合交通中基于DRL模型的宏观交通流特性和燃油效率。采用双延迟深度确定性策略梯度（TD3）算法控制AV，并使用NGSIM高速公路数据集进行训练，从而实现与人类驾驶车辆的真实交互。使用基本图（FD）在不同的驾驶员异质性、异构时距渗透水平和不同比例的RL控制车辆下评估交通性能。还对基于RL的AV模型和IDM之间的宏观层面的燃油效率进行了比较。结果表明，交通性能对安全时距的分布和RL车辆的比例敏感。从完全人工驾驶交通过渡到完全RL控制交通，道路通行能力可提高约7.52%。此外，与IDM相比，基于RL的AV在较高速度（高于50公里/小时）下，平均燃油效率也提高了约28.98%，在较低速度（低于50公里/小时）下，平均燃油效率提高了约1.86%。总体而言，DRL框架在不影响安全性的前提下，提高了交通通行能力和燃油效率。

🔬 方法详解

问题定义：论文旨在解决混合交通流中，如何利用自动驾驶车辆（AV）优化宏观交通特性（如通行能力）和燃油效率的问题。现有方法，特别是传统的车辆跟随模型（如IDM），无法很好地适应异构驾驶行为和复杂的交通场景，并且通常不考虑燃油效率的优化。

核心思路：论文的核心思路是利用深度强化学习（DRL）训练AV的控制策略，使其能够与人类驾驶车辆进行有效的交互，从而在宏观层面上改善交通流的性能。通过学习人类驾驶行为的模式，AV可以更好地适应混合交通环境，并优化自身的驾驶策略以提高通行能力和燃油效率。

技术框架：整体框架包括以下几个主要部分：1) 交通流仿真环境：使用SUMO等交通仿真软件模拟混合交通流，其中包含人类驾驶车辆和RL控制的AV。2) RL智能体：采用TD3算法作为AV的控制策略，TD3是一种off-policy的actor-critic算法，适用于连续动作空间的控制问题。3) 奖励函数设计：设计合理的奖励函数，鼓励AV提高通行能力、燃油效率，并保证安全性。4) 训练过程：使用NGSIM数据集训练RL智能体，使其学习与人类驾驶车辆交互的最佳策略。5) 评估：使用基本图（FD）等指标评估交通流的宏观特性，并比较RL控制的AV与IDM的燃油效率。

关键创新：论文的关键创新在于将深度强化学习应用于混合交通流的宏观优化，并验证了其有效性。与传统的车辆跟随模型相比，DRL方法能够更好地适应异构驾驶行为和复杂的交通场景，并且可以同时优化多个目标（如通行能力和燃油效率）。此外，论文还深入分析了不同参数（如安全时距分布和RL车辆比例）对交通性能的影响。

关键设计：论文中TD3算法的具体实现细节包括：1) 状态空间：包括AV自身的速度、位置、与前车的距离等信息，以及周围车辆的速度、位置等信息。2) 动作空间：AV的加速度和转向角。3) 奖励函数：综合考虑通行能力、燃油效率和安全性，例如，可以使用车辆速度的倒数作为燃油效率的指标，使用碰撞惩罚来保证安全性。4) 网络结构：Actor网络和Critic网络均采用多层感知机（MLP）。5) 训练参数：学习率、折扣因子、探索噪声等参数需要仔细调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，从完全人工驾驶交通过渡到完全RL控制交通，道路通行能力可提高约7.52%。此外，与IDM相比，基于RL的AV在较高速度（高于50公里/小时）下，平均燃油效率也提高了约28.98%，在较低速度（低于50公里/小时）下，平均燃油效率提高了约1.86%。这些数据表明，DRL方法在提升交通效率和燃油经济性方面具有显著优势。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车辆控制策略的开发和优化，以及交通拥堵缓解和燃油效率提升等领域。通过部署基于DRL的自动驾驶车辆，可以有效改善城市交通状况，降低能源消耗，并提高交通安全性。未来，该技术还可以扩展到更复杂的交通场景，如城市道路网络和高速公路匝道控制。

📄 摘要（原文）

Automated Vehicle (AV) control in mixed traffic, where AVs coexist with human-driven vehicles, poses significant challenges in balancing safety, efficiency, comfort, fuel efficiency, and compliance with traffic rules while capturing heterogeneous driver behavior. Traditional car-following models, such as the Intelligent Driver Model (IDM), often struggle to generalize across diverse traffic scenarios and typically do not account for fuel efficiency, motivating the use of learning-based approaches. Although Deep Reinforcement Learning (DRL) has shown strong microscopic performance in car-following conditions, its macroscopic traffic flow characteristics remain underexplored. This study focuses on analyzing the macroscopic traffic flow characteristics and fuel efficiency of DRL-based models in mixed traffic. A Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithm is implemented for AVs' control and trained using the NGSIM highway dataset, enabling realistic interaction with human-driven vehicles. Traffic performance is evaluated using the Fundamental Diagram (FD) under varying driver heterogeneity, heterogeneous time-gap penetration levels, and different shares of RL-controlled vehicles. A macroscopic level comparison of fuel efficiency between the RL-based AV model and the IDM is also conducted. Results show that traffic performance is sensitive to the distribution of safe time gaps and the proportion of RL vehicles. Transitioning from fully human-driven to fully RL-controlled traffic can increase road capacity by approximately 7.52%. Further, RL-based AVs also improve average fuel efficiency by about 28.98% at higher speeds (above 50 km/h), and by 1.86% at lower speeds (below 50 km/h) compared to the IDM. Overall, the DRL framework enhances traffic capacity and fuel efficiency without compromising safety.