Reinforcement Learning for Freeway Lane-Change Regulation via Connected Vehicles
作者: Ke Sun, Huan Yu
分类: eess.SY
发布日期: 2024-12-05 (更新: 2024-12-06)
💡 一句话要点
提出基于多智能体强化学习的车道变换调控方法，提升高速公路交通效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 多智能体强化学习 车道变换调控 高速公路交通 联网车辆 宏观交通模型
📋 核心要点
- 现有车道变换控制算法依赖于高自主性车辆，且数据收集成本高昂，限制了其应用。
- 论文提出基于多智能体强化学习的车道变换调控策略，利用联网车辆提高调控率。
- 实验结果表明，该方法在提高交通效率的同时，能耗增加极小，并保证驾驶安全。
📝 摘要（中文）
本文提出了一种基于多智能体强化学习（MARL）的动态车道变换调控设计，旨在提高高速公路的交通效率。该框架利用多车道宏观交通模型，描述了每条车道的密度和速度的时空动态。由聚合换道行为产生的相邻车道之间的横向交通流被建模为偏微分方程（PDE）之间交换的源项。我们提出了一种使用MARL的车道变换调控策略，其中每个智能体都位于离散化的车道网格中。每个智能体的状态由其网格内聚合的车辆属性表示，这些属性来自SUMO微观仿真环境。智能体的动作是针对其网格中车辆的车道变换调控。具体而言，车道变换调控信号在中央交通管理中心计算，然后广播到相应车道网格中的联网车辆。与车辆级操作控制相比，该方法通过利用车辆连接性实现了更高的调控率，同时没有引入关键的安全问题，并适应了交通系统中不同程度的连接性和自主性。该模型在不同的交通场景和需求条件下进行了仿真和评估。实验结果表明，该方法在保持驾驶安全的同时，以最小的额外能耗提高了整体交通效率。
🔬 方法详解
问题定义：现有车道变换控制算法依赖于具有一定自主性的车辆（例如，自动驾驶或联网自动驾驶车辆），并且精确数据收集的成本很高。因此，如何在低自主车辆渗透率的情况下，有效提升高速公路的交通效率是一个亟待解决的问题。
核心思路：论文的核心思路是将车道变换调控问题建模为多智能体强化学习（MARL）问题。通过在离散化的车道网格中部署智能体，并利用联网车辆接收调控信号，从而实现对车道变换行为的有效引导，进而提升整体交通效率。这种方法无需依赖高自主性车辆，并且能够适应不同程度的车辆连接性和自主性。
技术框架：该框架主要包含以下几个模块：1) 多车道宏观交通模型：用于描述每条车道的密度和速度的时空动态，并将车道变换行为建模为偏微分方程之间的源项。2) SUMO微观仿真环境：用于生成每个车道网格内聚合的车辆属性，作为智能体的状态输入。3) 多智能体强化学习（MARL）：每个智能体位于离散化的车道网格中，根据自身状态（网格内的车辆属性）采取动作（车道变换调控信号）。4) 中央交通管理中心：负责计算车道变换调控信号，并将其广播到相应的车道网格中的联网车辆。
关键创新：该论文的关键创新在于将宏观交通模型与多智能体强化学习相结合，提出了一种动态车道变换调控策略。与传统的车辆级操作控制相比，该方法通过利用车辆连接性实现了更高的调控率，并且无需依赖高自主性车辆。此外，该方法还考虑了交通系统中不同程度的车辆连接性和自主性，使其更具实用性。
关键设计：论文中，每个智能体的状态由其网格内聚合的车辆属性表示，这些属性来自SUMO微观仿真环境。智能体的动作是车道变换调控信号，这些信号在中央交通管理中心计算，然后广播到相应的车道网格中的联网车辆。具体的参数设置、损失函数和网络结构等技术细节在论文中没有详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在不同的交通场景和需求条件下，能够有效提高整体交通效率，并且能耗增加极小，同时保证了驾驶安全。具体的性能数据和对比基线在摘要中没有明确给出，属于未知信息。但结论表明该方法具有显著的优势。
🎯 应用场景
该研究成果可应用于智能交通管理系统，通过对高速公路车道变换行为的调控，缓解交通拥堵，提高通行效率，减少能源消耗。该方法尤其适用于联网车辆渗透率较低的场景，具有较强的实际应用价值。未来，该技术可进一步扩展到城市道路交通管理，实现更智能化的交通控制。
📄 摘要（原文）
Lane change decision-making is a complex task due to intricate vehicle-vehicle and vehicle-infrastructure interactions. Existing algorithms for lane-change control often depend on vehicles with a certain level of autonomy (e.g., autonomous or connected autonomous vehicles). To address the challenges posed by low penetration rates of autonomous vehicles and the high costs of precise data collection, this study proposes a dynamic lane change regulation design based on multi-agent reinforcement learning (MARL) to enhance freeway traffic efficiency. The proposed framework leverages multi-lane macroscopic traffic models that describe spatial-temporal dynamics of the density and speed for each lane. Lateral traffic flow between adjacent lanes, resulting from aggregated lane-changing behaviors, is modeled as source terms exchanged between the partial differential equations (PDEs). We propose a lane change regulation strategy using MARL, where one agent is placed at each discretized lane grid. The state of each agent is represented by aggregated vehicle attributes within its grid, generated from the SUMO microscopic simulation environment. The agent's actions are lane-change regulations for vehicles in its grid. Specifically, lane-change regulation signals are computed at a centralized traffic management center and then broadcast to connected vehicles in the corresponding lane grids. Compared to vehicle-level maneuver control, this approach achieves a higher regulation rate by leveraging vehicle connectivity while introducing no critical safety concerns, and accommodating varying levels of connectivity and autonomy within the traffic system. The proposed model is simulated and evaluated in varied traffic scenarios and demand conditions. Experimental results demonstrate that the method improves overall traffic efficiency with minimal additional energy consumption while maintaining driving safety.