Coordination Matters: Evaluation of Cooperative Multi-Agent Reinforcement Learning
作者: Maria Ana Cardei, Matthew Landers, Afsaneh Doryab
分类: cs.MA, cs.AI, cs.LG
发布日期: 2026-05-07
备注: 27 pages. Submitted and under review
💡 一句话要点
提出面向协作多智能体强化学习的协调感知评估方法，解决传统指标的局限性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 协作学习 协调评估 任务分配 过程级诊断
📋 核心要点
- 现有MARL评估侧重于回报等聚合指标，忽略了智能体间的协调机制，难以诊断性能瓶颈。
- 提出协调感知评估视角，通过过程级诊断补充回报，揭示智能体协调方式的差异。
- 在STAT测试平台上，发现相似回报趋势可能对应不同的协调机制，强调协调感知评估的重要性。
📝 摘要（中文）
协作多智能体强化学习(MARL)基准测试通常侧重于回报、成功率或完成时间等聚合结果。虽然这些指标至关重要，但它们通常无法揭示智能体如何协调，尤其是在智能体、任务和联合分配选择呈组合式扩展的场景中。我们提出了一种协调感知评估视角，用过程级诊断来补充回报。我们使用STAT来实例化这种视角，STAT是一个受控的、承诺约束的空间任务分配测试平台，它系统地改变智能体、任务和环境大小，同时保持观察访问和任务规则不变。我们评估了六种具有代表性的基于价值的MARL方法，这些方法具有不同程度的中心化。我们的结果表明，相似的回报趋势可能反映出不同的协调机制，包括冗余分配、分配多样性和任务完成效率方面的差异。我们发现，在承诺约束的任务分配中，规模下的性能不仅受名义动作空间大小的影响，还受分配压力、稀疏决策机会以及相互依赖的智能体之间的冗余选择的影响。我们的发现表明，协调感知评估是基于回报的协作MARL基准测试的必要补充。
🔬 方法详解
问题定义：现有协作多智能体强化学习的评估方法主要依赖于回报、成功率等聚合指标，这些指标无法充分反映智能体之间的协调方式。尤其是在智能体数量、任务数量以及环境规模增大时，不同的协调策略可能产生相似的聚合结果，导致难以分析和改进智能体的协作行为。因此，如何有效评估智能体之间的协调机制，并将其作为MARL算法设计和分析的重要依据，是一个亟待解决的问题。
核心思路：论文的核心思路是提出一种“协调感知”的评估视角，通过引入过程级别的诊断指标，补充传统的回报指标。这种方法旨在更细粒度地分析智能体在完成任务过程中的行为，从而揭示不同算法在协调机制上的差异。通过分析这些过程级别的指标，可以更好地理解算法的优缺点，并为算法的改进提供指导。
技术框架：论文提出的评估框架主要包含以下几个部分：首先，设计了一个名为STAT（Spatial Task-Allocation Testbed）的测试平台，该平台是一个受控的、承诺约束的空间任务分配环境，可以系统地改变智能体、任务和环境的大小。其次，定义了一系列过程级别的诊断指标，用于评估智能体的协调行为，例如冗余分配、分配多样性和任务完成效率等。最后，通过在STAT平台上评估不同的MARL算法，并分析其回报和过程级别的诊断指标，来验证协调感知评估的有效性。
关键创新：论文的关键创新在于提出了“协调感知”的评估视角，并将其应用于协作多智能体强化学习领域。与传统的评估方法相比，该方法不仅关注最终的回报，还关注智能体在完成任务过程中的协调行为。通过引入过程级别的诊断指标，可以更全面地评估MARL算法的性能，并为算法的改进提供更细粒度的指导。
关键设计：STAT测试平台的设计允许系统地控制智能体、任务和环境的大小，从而可以研究算法在不同规模下的性能表现。过程级别的诊断指标包括：冗余分配（衡量多个智能体分配到同一任务的程度）、分配多样性（衡量智能体分配任务的多样性）和任务完成效率（衡量智能体完成任务的效率）。这些指标的设计旨在捕捉智能体在协作过程中的关键行为特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使在回报相似的情况下，不同的MARL算法也可能表现出显著不同的协调机制。例如，某些算法可能倾向于冗余分配，而另一些算法则更注重分配多样性。在STAT平台上，论文评估了六种代表性的基于价值的MARL方法，并发现性能受分配压力、稀疏决策机会和冗余选择等因素的影响。
🎯 应用场景
该研究成果可应用于机器人协同作业、交通流量优化、资源分配等领域。通过协调感知评估，可以设计出更高效、鲁棒的多智能体协作系统，提升整体性能和资源利用率。未来，该方法有望推广到更复杂的协作场景，例如智能制造、智慧城市等。
📄 摘要（原文）
Cooperative multi-agent reinforcement learning (MARL) benchmarks commonly emphasize aggregate outcomes such as return, success rate, or completion time. While essential, these metrics often fail to reveal how agents coordinate, particularly in settings where agents, tasks, and joint assignment choices scale combinatorially. We propose a coordination-aware evaluation perspective that supplements return with process-level diagnostics. We instantiate this perspective using STAT, a controlled commitment-constrained spatial task-allocation testbed that systematically varies agents, tasks, and environment size while holding observation access and task rules fixed. We evaluate six representative value-based MARL methods across varying levels of centralization. Our results show that similar return trends can reflect distinct coordination mechanisms, including differences in redundant assignment, assignment diversity, and task-completion efficiency. We find that in commitment-constrained task allocation, performance under scale is shaped not only by nominal action-space size, but also by assignment pressure, sparse decision opportunities, and redundant choices among interdependent agents. Our findings motivate coordination-aware evaluation as a necessary complement to return-based benchmarking for cooperative MARL.