Joint-Local Grounded Action Transformation for Sim-to-Real Transfer in Multi-Agent Traffic Control

📄 arXiv: 2507.15174v1 📥 PDF

作者: Justin Turnau, Longchao Da, Khoa Vo, Ferdous Al Rafi, Shreyas Bachiraju, Tiejin Chen, Hua Wei

分类: cs.LG

发布日期: 2025-07-21

备注: This paper was accepted to RLC/RLJ 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出JL-GAT，解决多智能体交通控制中Sim-to-Real迁移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 交通信号控制 Sim-to-Real Grounded Action Transformation 智能交通系统

📋 核心要点

  1. 现有MARL交通信号控制策略在Sim-to-Real迁移时性能显著下降，这是由于模拟环境与真实环境的动态差异造成的。
  2. JL-GAT通过结合邻居智能体的信息，在MARL框架下实现了分散式的GAT，从而平衡了可扩展性和增强的 grounding 能力。
  3. 实验表明，JL-GAT在模拟恶劣天气条件下的各种道路网络中表现出良好的性能，并通过消融研究验证了其有效性。

📝 摘要（中文）

交通信号控制（TSC）对于管理城市交通流量和减少拥堵至关重要。强化学习（RL）通过响应动态交通模式为TSC提供了一种自适应方法，而多智能体RL（MARL）因交叉口自然地作为协调智能体而受到越来越多的关注。然而，由于环境动态的变化，在现实世界中实施基于MARL的TSC策略通常会导致显著的性能下降，即所谓的sim-to-real差距。Grounded Action Transformation（GAT）已成功地缓解了单智能体RL中TSC的这一差距，但涉及众多交互交叉口的真实交通网络更适合MARL框架。在这项工作中，我们引入了JL-GAT，这是一种将GAT应用于基于MARL的TSC的方法，通过结合来自相邻智能体的信息，平衡了可扩展性和增强的 grounding 能力。JL-GAT采用分散式GAT方法，允许真实交通网络中通常所需的可扩展性，同时仍然捕获智能体之间的关键交互。在模拟恶劣天气条件下的各种道路网络上进行的综合实验以及消融研究证明了JL-GAT的有效性。

🔬 方法详解

问题定义：论文旨在解决多智能体交通控制（MARL-TSC）中，由于模拟环境与真实环境的差异导致的Sim-to-Real迁移问题。现有方法，特别是直接将MARL策略部署到真实世界时，性能会显著下降，无法有效适应真实交通环境的复杂性和不确定性。

核心思路：论文的核心思路是将Grounded Action Transformation (GAT) 扩展到MARL框架下，提出 Joint-Local GAT (JL-GAT)。通过让每个智能体不仅考虑自身的状态，还考虑邻居智能体的状态信息，从而增强智能体对环境的感知能力，提高策略的鲁棒性，最终缩小Sim-to-Real的差距。

技术框架：JL-GAT采用分散式架构，每个交通路口的智能体独立进行决策，但会与其他相邻智能体交换信息。整体流程包括：1) 智能体收集自身和邻居的状态信息；2) 使用GAT模块对动作进行转换，使其更适应真实环境；3) 执行转换后的动作并获得奖励；4) 使用MARL算法（例如，MADDPG）更新策略。

关键创新：JL-GAT的关键创新在于将GAT扩展到MARL框架，并采用Joint-Local的方式融合邻居信息。这使得智能体能够更好地理解全局交通状况，从而做出更明智的决策。与传统的GAT方法相比，JL-GAT更适合处理大规模、分布式的交通网络。

关键设计：JL-GAT的关键设计包括：1) 邻居信息的选择策略：如何选择哪些邻居的信息进行融合？2) GAT模块的具体实现：可以使用神经网络来学习动作转换函数；3) 奖励函数的设计：如何设计奖励函数来鼓励智能体之间的协作？4) 损失函数的设计：如何设计损失函数来优化GAT模块的参数？论文中可能使用了特定的网络结构来融合邻居信息，并设计了特定的损失函数来训练GAT模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在模拟的恶劣天气条件下，对各种道路网络进行了综合实验，结果表明JL-GAT能够显著提升MARL-TSC策略的性能。具体的性能数据（例如，平均车辆延误时间、道路通行能力等）以及与基线方法（例如，传统的固定配时策略、单智能体GAT等）的对比结果，证明了JL-GAT的有效性。

🎯 应用场景

该研究成果可应用于智能交通管理系统，通过部署JL-GAT，能够提升交通信号控制策略在真实交通环境中的性能，从而缓解交通拥堵、减少车辆延误、提高道路通行效率。此外，该方法还可以扩展到其他多智能体控制领域，例如机器人集群控制、无人机协同等。

📄 摘要（原文）

Traffic Signal Control (TSC) is essential for managing urban traffic flow and reducing congestion. Reinforcement Learning (RL) offers an adaptive method for TSC by responding to dynamic traffic patterns, with multi-agent RL (MARL) gaining traction as intersections naturally function as coordinated agents. However, due to shifts in environmental dynamics, implementing MARL-based TSC policies in the real world often leads to a significant performance drop, known as the sim-to-real gap. Grounded Action Transformation (GAT) has successfully mitigated this gap in single-agent RL for TSC, but real-world traffic networks, which involve numerous interacting intersections, are better suited to a MARL framework. In this work, we introduce JL-GAT, an application of GAT to MARL-based TSC that balances scalability with enhanced grounding capability by incorporating information from neighboring agents. JL-GAT adopts a decentralized approach to GAT, allowing for the scalability often required in real-world traffic networks while still capturing key interactions between agents. Comprehensive experiments on various road networks under simulated adverse weather conditions, along with ablation studies, demonstrate the effectiveness of JL-GAT. The code is publicly available at https://github.com/DaRL-LibSignal/JL-GAT/.