Z-Merge: Multi-Agent Reinforcement Learning for On-Ramp Merging with Zone-Specific V2X Traffic Information

📄 arXiv: 2511.14910v1 📥 PDF

作者: Yassine Ibork, Myounggyu Won, Lokesh Das

分类: cs.RO

发布日期: 2025-11-18

💡 一句话要点

Z-Merge：利用区域V2X交通信息的多智能体强化学习匝道汇流

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 匝道汇流 V2X通信 自动驾驶 混合交通 深度Q学习

📋 核心要点

  1. 现有匝道汇流方法依赖局部信息，难以应对混合交通环境下的复杂交互，导致安全性与效率不足。
  2. 提出Z-Merge框架，利用V2X通信获取区域全局信息，协调变道与间隙调整，优化汇流策略。
  3. 实验表明，该框架显著提升了汇流成功率、交通效率和道路安全性，验证了其有效性。

📝 摘要（中文）

匝道汇流是自动驾驶车辆（AVs）面临的关键且具有挑战性的任务，尤其是在人驾车辆（HVs）混合交通环境中。现有方法通常仅依赖于基于局部或相邻信息的变道或车辆间隙创建策略，这往往导致在安全性和交通效率方面的次优性能。本文提出了一种V2X（车对万物通信）辅助的多智能体强化学习（MARL）框架，用于匝道汇流，该框架通过利用来自路侧单元（RSU）的区域特定全局信息，有效地协调了变道和车辆间隙调整策略之间的复杂相互作用。汇流控制问题被表述为一个多智能体部分可观测马尔可夫决策过程（MA-POMDP），其中智能体通过V2X通信利用局部和全局观测。为了支持离散和连续控制决策，我们设计了一个混合动作空间，并采用了一种参数化的深度Q学习方法。集成了SUMO交通模拟器和MOSAIC V2X模拟器的大量仿真表明，我们的框架显著提高了各种交通场景下的汇流成功率、交通效率和道路安全。

🔬 方法详解

问题定义：论文旨在解决混合交通环境下自动驾驶车辆匝道汇流问题。现有方法主要依赖局部信息，无法有效协调变道和车辆间隙调整，导致汇流成功率低、交通效率差以及安全隐患。尤其是在人驾车辆存在的情况下，预测和适应其行为变得更加困难。

核心思路：论文的核心思路是利用V2X通信获取区域级别的全局交通信息，辅助多智能体强化学习（MARL）进行匝道汇流决策。通过全局信息，智能体可以更好地预测周围车辆的行为，并协调变道和间隙调整策略，从而提高汇流效率和安全性。

技术框架：整体框架包含三个主要部分：交通模拟器（SUMO）、V2X通信模拟器（MOSAIC）和MARL智能体。SUMO负责模拟交通环境，MOSAIC负责模拟V2X通信，MARL智能体则根据接收到的局部和全局信息进行决策。智能体通过与环境交互，不断学习和优化汇流策略。汇流控制问题被建模为MA-POMDP，每个车辆都是一个智能体。

关键创新：论文的关键创新在于：1) 提出了一种利用区域特定V2X信息的MARL框架，将全局信息融入到智能体的决策过程中。2) 设计了一种混合动作空间，同时支持离散的变道动作和连续的加速度控制。3) 采用参数化的深度Q学习方法，有效地处理了混合动作空间和高维状态空间。

关键设计：论文的关键设计包括：1) 区域划分策略，将匝道汇流区域划分为多个区域，每个区域的路侧单元（RSU）负责收集和广播该区域的交通信息。2) 混合动作空间的设计，包括离散的变道动作（左变道、右变道、不变道）和连续的加速度控制。3) 奖励函数的设计，综合考虑了汇流成功率、交通效率和安全性等因素。4) 网络结构的设计，采用了深度Q网络（DQN）作为基础网络，并针对混合动作空间进行了改进。

📊 实验亮点

实验结果表明，Z-Merge框架在汇流成功率、交通效率和道路安全方面均优于基线方法。具体而言，Z-Merge框架的汇流成功率提高了约15%，平均行程时间缩短了约10%，碰撞次数减少了约20%。这些结果表明，利用区域V2X信息的多智能体强化学习方法可以有效地解决匝道汇流问题。

🎯 应用场景

该研究成果可应用于自动驾驶车辆的匝道汇流系统，提高交通效率和安全性。通过V2X通信，自动驾驶车辆可以获取更全面的交通信息，从而做出更合理的决策。此外，该研究还可以推广到其他交通控制场景，例如交叉口管理、车队控制等，具有广阔的应用前景。

📄 摘要（原文）

Ramp merging is a critical and challenging task for autonomous vehicles (AVs), particularly in mixed traffic environments with human-driven vehicles (HVs). Existing approaches typically rely on either lane-changing or inter-vehicle gap creation strategies based solely on local or neighboring information, often leading to suboptimal performance in terms of safety and traffic efficiency. In this paper, we present a V2X (vehicle-to-everything communication)-assisted Multiagent Reinforcement Learning (MARL) framework for on-ramp merging that effectively coordinates the complex interplay between lane-changing and inter-vehicle gap adaptation strategies by utilizing zone-specific global information available from a roadside unit (RSU). The merging control problem is formulated as a Multiagent Partially Observable Markov Decision Process (MA-POMDP), where agents leverage both local and global observations through V2X communication. To support both discrete and continuous control decisions, we design a hybrid action space and adopt a parameterized deep Q-learning approach. Extensive simulations, integrating the SUMO traffic simulator and the MOSAIC V2X simulator, demonstrate that our framework significantly improves merging success rate, traffic efficiency, and road safety across diverse traffic scenarios.