Emergent Coordination and Phase Structure in Independent Multi-Agent Reinforcement Learning

📄 arXiv: 2511.23315v1 📥 PDF

作者: Azusa Yamaguchi

分类: cs.LG

发布日期: 2025-11-28

备注: 22 pages, 19 figures

💡 一句话要点

揭示独立多智能体强化学习中的涌现协调与相结构，关注规模、密度与核漂移的相互作用。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体强化学习 涌现协调 独立Q学习 相变 核漂移

📋 核心要点

  1. 去中心化多智能体强化学习中，智能体间的协调涌现机制尚不明确，现有方法难以有效表征其动态过程。
  2. 本文通过大规模实验，研究了环境规模和智能体密度对独立Q学习的影响，揭示了涌现协调的相结构。
  3. 实验结果表明，涌现协调存在稳定、脆弱和无序三个阶段，并受智能体间核漂移和同步的影响。

📝 摘要（中文）

为了更好地理解去中心化多智能体强化学习(MARL)中协调何时涌现、波动或崩溃，本文重新审视了完全独立的Q学习(IQL)作为最小的去中心化测试平台，并在环境大小L和智能体密度rho上进行了大规模实验。通过合作成功率(CSR)和TD误差方差导出的稳定性指标构建了一个相图，揭示了三个不同的状态：协调且稳定的相、脆弱的过渡区域以及阻塞或无序的相。一个清晰的双重不稳定性脊分隔了这些状态，对应于持续的核漂移，即每个智能体的有效转移核随其他智能体的策略更新而变化的时变偏移。同步分析进一步表明，时间对齐是维持合作所必需的，并且漂移和同步之间的竞争产生了脆弱的状态。移除智能体标识符完全消除了漂移并瓦解了三相结构，表明智能体间的小的不对称性是漂移的必要驱动因素。总体而言，结果表明去中心化MARL表现出由规模、密度和核漂移之间的相互作用控制的相结构，表明涌现协调表现为一种分布-交互驱动的相现象。

🔬 方法详解

问题定义：论文旨在理解在去中心化多智能体强化学习（MARL）环境中，智能体之间的协调行为是如何涌现、演变和崩溃的。现有方法通常难以刻画这种动态过程，尤其是在大规模和高密度的环境中。独立Q学习（IQL）虽然简单，但其涌现的复杂行为尚未被充分理解，缺乏对其内在机制的深入分析。

核心思路：论文的核心思路是将MARL中的涌现协调视为一种相变现象，类似于物理学中的物质状态变化。通过分析合作成功率（CSR）和TD误差方差等指标，构建一个相图，从而揭示不同状态之间的转变。同时，关注智能体间的“核漂移”（kernel drift）和同步性，认为它们是影响协调行为的关键因素。

技术框架：论文采用完全独立的Q学习（IQL）作为基础框架，每个智能体独立地学习自己的Q函数，不直接与其他智能体通信或共享信息。通过大规模实验，在不同环境大小（L）和智能体密度（rho）下运行IQL。然后，计算合作成功率（CSR）和TD误差方差，并基于这些指标构建相图。此外，还进行了同步性分析，以研究智能体策略更新的时间对齐程度。

关键创新：论文的关键创新在于：1) 将MARL中的涌现协调与相变现象联系起来，提供了一种新的分析视角；2) 提出了“核漂移”的概念，即由于其他智能体的策略更新，每个智能体的有效转移核发生时变偏移，这是导致不稳定性的重要原因；3) 揭示了智能体间的不对称性（例如，通过智能体标识符引入）是驱动核漂移的必要条件。

关键设计：论文的关键设计包括：1) 使用合作成功率（CSR）作为衡量协调程度的指标；2) 使用TD误差方差作为衡量学习稳定性的指标；3) 通过移除智能体标识符来消除智能体间的不对称性，从而验证核漂移的作用；4) 通过同步性分析，研究智能体策略更新的时间对齐程度，并将其与协调行为联系起来。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在不同的环境规模和智能体密度下，IQL表现出三种不同的状态：协调且稳定的相、脆弱的过渡区域以及阻塞或无序的相。一个清晰的双重不稳定性脊分隔了这些状态。移除智能体标识符后，三相结构消失，验证了智能体间不对称性是驱动核漂移的关键。同步分析表明，时间对齐是维持合作所必需的。

🎯 应用场景

该研究成果可应用于机器人集群控制、交通流量优化、资源分配等领域。通过理解智能体间的协调涌现机制，可以设计更有效的去中心化控制策略，提高系统的整体性能和鲁棒性。未来的研究可以探索如何主动控制核漂移和同步性，从而实现更稳定和高效的协调。

📄 摘要（原文）

A clearer understanding of when coordination emerges, fluctuates, or collapses in decentralized multi-agent reinforcement learning (MARL) is increasingly sought in order to characterize the dynamics of multi-agent learning systems. We revisit fully independent Q-learning (IQL) as a minimal decentralized testbed and run large-scale experiments across environment size L and agent density rho. We construct a phase map using two axes - the cooperative success rate (CSR) and a stability index derived from TD-error variance - revealing three distinct regimes: a coordinated and stable phase, a fragile transition region, and a jammed or disordered phase. A sharp double Instability Ridge separates these regimes and corresponds to persistent kernel drift, the time-varying shift of each agent's effective transition kernel induced by others' policy updates. Synchronization analysis further shows that temporal alignment is required for sustained cooperation, and that competition between drift and synchronization generates the fragile regime. Removing agent identifiers eliminates drift entirely and collapses the three-phase structure, demonstrating that small inter-agent asymmetries are a necessary driver of drift. Overall, the results show that decentralized MARL exhibits a coherent phase structure governed by the interaction between scale, density, and kernel drift, suggesting that emergent coordination behaves as a distribution-interaction-driven phase phenomenon.