A Distributed Approach to Autonomous Intersection Management via Multi-Agent Reinforcement Learning

📄 arXiv: 2405.08655v2 📥 PDF

作者: Matteo Cederle, Marco Fabris, Gian Antonio Susto

分类: cs.RO, cs.AI

发布日期: 2024-05-14 (更新: 2024-09-24)

备注: 15 pages, 2 figures, submitted to Agents in Traffic and Transportation (ATT2024). Status: accepted

期刊: ATT'24: Workshop Agents in Traffic and Transportation, Vol. 3813, Session 1: Reinforcement Learning and traffic management, pp 1-15, Oct 19, 2024, Santiago de Compostela, Spain (available at https://ceur-ws.org/Vol-3813/1.pdf)

💡 一句话要点

提出基于多智能体强化学习的分布式自主交叉口管理方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 自主交叉口管理 分布式控制 3D环视 智能交通系统

📋 核心要点

  1. 现有集中式自主交叉口管理依赖昂贵的中央服务器，难以应对复杂交通场景。
  2. 利用多智能体强化学习，结合3D环视技术，实现车辆的分布式自主导航。
  3. 通过优先场景回放策略，提升多智能体强化学习的训练效率和性能表现。

📝 摘要（中文）

本研究提出了一种新颖的分布式自主交叉口管理（AIM）方法，利用多智能体强化学习（MARL）解决现实交通场景的复杂性和集中式服务器的高昂成本问题。该方法利用3D环视技术，使自动驾驶车辆无需中央控制器即可精确导航交叉口。论文贡献包括：基于MARL的四向交叉口自主管理算法，以及一种名为“优先场景回放”的新策略，用于提高训练效率。实验结果表明，该方法优于传统的集中式AIM技术，并在SMARTS平台上的虚拟环境中验证了其优越性。

🔬 方法详解

问题定义：论文旨在解决传统集中式自主交叉口管理（AIM）方案中存在的两个主要问题：一是现实世界交通场景的复杂性给中央控制器的设计带来了巨大挑战；二是集中式服务器的高昂成本限制了其大规模部署。现有方法难以在保证效率的同时，降低系统复杂度和成本。

核心思路：论文的核心思路是将集中式控制转化为分布式控制，利用多智能体强化学习（MARL）使每个车辆成为一个独立的智能体，通过学习与其他车辆的交互来实现自主导航。车辆通过3D环视技术获取周围环境信息，从而做出决策，无需中央协调。

技术框架：整体框架包含以下几个主要模块：1) 环境建模：使用SMARTS平台构建虚拟交通环境，模拟车辆的运动和交互。2) 智能体设计：每个车辆被建模为一个独立的智能体，配备3D环视感知能力。3) 强化学习算法：采用MARL算法训练智能体，使其学习在交叉口安全高效地行驶。4) 优先场景回放：设计一种新的训练策略，优先回放对学习有益的场景，提高训练效率。

关键创新：论文的关键创新在于：1) 提出了一种完全分布式的AIM方案，无需中央控制器，降低了系统复杂度和成本。2) 引入了“优先场景回放”策略，该策略能够根据场景的重要性调整回放的概率，从而加速学习过程并提高性能。

关键设计：在MARL算法方面，具体使用的算法类型未知，但可以推测使用了某种基于值函数或策略梯度的算法。优先场景回放策略的具体实现方式未知，但可能涉及到对场景进行评分，并根据评分结果调整回放概率。3D环视技术的具体实现方式也未知，但可以推测使用了某种基于深度学习的目标检测和跟踪算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的分布式AIM方法在车辆平均等待时间、交通流量等指标上优于传统的集中式方法。具体性能提升幅度未知，但论文强调了其方法在各种指标上超越了基准方法，验证了其有效性。

🎯 应用场景

该研究成果可应用于未来的智能交通系统，实现更高效、更安全的交叉口管理。通过减少对中央控制器的依赖，降低了系统部署和维护成本，并提高了系统的鲁棒性。该技术还可扩展到其他交通场景，如高速公路匝道控制、车辆编队等。

📄 摘要（原文）

Autonomous intersection management (AIM) poses significant challenges due to the intricate nature of real-world traffic scenarios and the need for a highly expensive centralised server in charge of simultaneously controlling all the vehicles. This study addresses such issues by proposing a novel distributed approach to AIM utilizing multi-agent reinforcement learning (MARL). We show that by leveraging the 3D surround view technology for advanced assistance systems, autonomous vehicles can accurately navigate intersection scenarios without needing any centralised controller. The contributions of this paper thus include a MARL-based algorithm for the autonomous management of a 4-way intersection and also the introduction of a new strategy called prioritised scenario replay for improved training efficacy. We validate our approach as an innovative alternative to conventional centralised AIM techniques, ensuring the full reproducibility of our results. Specifically, experiments conducted in virtual environments using the SMARTS platform highlight its superiority over benchmarks across various metrics.