Multi-agent Coordination via Flow Matching
作者: Dongsu Lee, Daehee Lee, Amy Zhang
分类: cs.LG, cs.AI, cs.RO
发布日期: 2025-11-07
💡 一句话要点
提出MAC-Flow，通过流匹配实现高效多智能体协同
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 流模型 协同 离线学习 策略提炼
📋 核心要点
- 现有方法在多智能体协同中面临性能与计算效率的权衡，扩散模型计算慢，高斯策略模型处理复杂交互脆弱。
- MAC-Flow通过学习联合行为的流表示，并将其提炼为去中心化策略，兼顾了性能和效率。
- 实验表明，MAC-Flow在多个基准测试中实现了比扩散模型快14.5倍的推理速度，同时保持了竞争力。
📝 摘要（中文）
本文提出了一种简单而富有表现力的多智能体协同框架MAC-Flow。我们认为，有效的协同需要两个条件：（1）对离线数据中存在的各种联合行为进行丰富的表示；（2）能够在实时环境中高效地行动。然而，现有方法通常顾此失彼，例如，基于去噪扩散的解决方案能够捕捉复杂的协同，但计算速度慢；而基于高斯策略的解决方案速度快，但在处理多智能体交互时较为脆弱。MAC-Flow通过首先学习联合行为的基于流的表示，然后将其提炼成去中心化的一步策略来解决这一权衡问题，从而在保持协同的同时实现快速执行。在包括12个环境和34个数据集的四个不同基准测试中，MAC-Flow缓解了性能和计算成本之间的权衡，具体而言，与基于扩散的MARL方法相比，其推理速度提高了约14.5倍，同时保持了良好的性能。同时，其推理速度与先前基于高斯策略的离线多智能体强化学习（MARL）方法相似。
🔬 方法详解
问题定义：多智能体强化学习（MARL）旨在学习多个智能体之间的协同策略。现有方法，如基于扩散模型的方法，能够捕捉复杂的协同行为，但计算成本高昂，难以实时应用。而基于高斯策略的方法虽然计算效率高，但在处理复杂的多智能体交互时表现不佳，容易崩溃。因此，如何在性能和计算效率之间取得平衡是MARL领域的一个重要挑战。
核心思路：MAC-Flow的核心思路是利用流模型学习联合行为的表示，然后将学习到的表示提炼成去中心化的策略。流模型能够有效地捕捉复杂的数据分布，而提炼过程则可以将复杂的联合策略转化为易于执行的个体策略，从而实现高效的实时决策。这种方法旨在结合流模型的表达能力和去中心化策略的计算效率，从而在性能和效率之间取得平衡。
技术框架：MAC-Flow包含两个主要阶段：流模型学习阶段和策略提炼阶段。在流模型学习阶段，使用离线数据训练一个流模型，该模型能够捕捉多智能体联合行为的分布。在策略提炼阶段，利用训练好的流模型生成训练数据，然后训练去中心化的个体策略，使其能够模仿流模型的行为。最终得到的个体策略可以在实时环境中独立执行，从而实现高效的多智能体协同。
关键创新：MAC-Flow的关键创新在于将流模型引入到多智能体强化学习中，并提出了一种有效的策略提炼方法。与传统的基于高斯策略的方法相比，流模型能够更好地捕捉复杂的多智能体交互。与基于扩散模型的方法相比，策略提炼过程可以显著提高计算效率，从而实现实时决策。
关键设计：MAC-Flow使用了一种基于耦合层的流模型，该模型能够有效地捕捉多智能体联合行为的依赖关系。在策略提炼阶段，使用了一种基于行为克隆的训练方法，该方法能够有效地将流模型的行为转移到个体策略中。损失函数包括行为克隆损失和正则化项，用于防止过拟合。网络结构采用多层感知机（MLP），参数数量根据具体环境进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MAC-Flow在四个不同的基准测试中取得了显著的性能提升。与基于扩散的MARL方法相比，MAC-Flow的推理速度提高了约14.5倍，同时保持了良好的性能。在某些环境中，MAC-Flow甚至超过了基于扩散模型的方法。此外，MAC-Flow的推理速度与先前基于高斯策略的离线MARL方法相似，但性能更优。
🎯 应用场景
MAC-Flow具有广泛的应用前景，例如在自动驾驶、机器人协同、交通调度等领域。该方法可以用于训练多个智能体协同完成复杂任务，例如多机器人协同搬运、自动驾驶车辆的交通流优化等。通过提高多智能体系统的效率和鲁棒性，MAC-Flow可以为这些领域带来显著的实际价值。
📄 摘要（原文）
This work presents MAC-Flow, a simple yet expressive framework for multi-agent coordination. We argue that requirements of effective coordination are twofold: (i) a rich representation of the diverse joint behaviors present in offline data and (ii) the ability to act efficiently in real time. However, prior approaches often sacrifice one for the other, i.e., denoising diffusion-based solutions capture complex coordination but are computationally slow, while Gaussian policy-based solutions are fast but brittle in handling multi-agent interaction. MAC-Flow addresses this trade-off by first learning a flow-based representation of joint behaviors, and then distilling it into decentralized one-step policies that preserve coordination while enabling fast execution. Across four different benchmarks, including $12$ environments and $34$ datasets, MAC-Flow alleviates the trade-off between performance and computational cost, specifically achieving about $\boldsymbol{\times14.5}$ faster inference compared to diffusion-based MARL methods, while maintaining good performance. At the same time, its inference speed is similar to that of prior Gaussian policy-based offline multi-agent reinforcement learning (MARL) methods.