Flowing Faster to Coordinate: One-Step Online Multi-Agent Flow Policies

📄 arXiv: 2610.01882v1 📥 PDF

作者: Zhuoran Li, Yunzhan Li, Xun Wang, Yihan Du, Longbo Huang

分类: cs.LG, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出OMAF框架以解决在线多智能体协调学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体强化学习 生成策略 流模型 Transformer 协调行为 样本效率 在线学习

📋 核心要点

  1. 现有的多智能体强化学习方法在处理复杂的多模态动作分布时面临训练效率低下的问题。
  2. 本文提出的OMAF框架通过一步流模型结合生成策略与高效动作生成，解决了在线多智能体学习中的协调行为捕捉问题。
  3. 实验结果显示，OMAF在多个标准任务中表现优于基线方法，返回率和样本效率均有显著提升。

📝 摘要（中文）

多智能体强化学习（MARL）为通过与环境的交互学习协调行为提供了强大的框架。然而，开发MARL策略需要在复杂多模态动作分布的表达建模与高效训练和执行之间取得平衡。尽管生成策略，尤其是基于扩散的策略，能够真实捕捉复杂行为，但迭代采样的高成本限制了其在在线多智能体环境中的可扩展性。为此，本文提出了一种通过一步流模型（OMAF）实现的在线MARL框架，结合了表达性生成策略与高效的一步动作生成。OMAF采用基于Transformer的流策略来捕捉复杂的协调行为，同时其近似路径评分替代物为同步流策略优化提供了原则性路径。通过消除迭代采样，OMAF显著降低了训练开销，而不牺牲策略的表达性。实验结果表明，OMAF在10个标准任务中表现优异，返回率提高了3.4倍，样本效率提升了10.5倍。

🔬 方法详解

问题定义：本文旨在解决在线多智能体强化学习中，现有方法在复杂多模态动作分布建模与训练效率之间的矛盾，尤其是迭代采样带来的高成本问题。

核心思路：OMAF框架通过引入一步流模型，结合Transformer架构，能够高效捕捉复杂的协调行为，同时避免了传统方法中的迭代采样过程，从而提高了训练效率。

技术框架：OMAF的整体架构包括基于Transformer的流策略模块和近似路径评分模块。流策略模块用于生成动作，路径评分模块则用于优化流策略，确保协调行为的有效学习。

关键创新：OMAF的主要创新在于其一体化的流模型设计，能够在不牺牲策略表达性的前提下，显著降低训练时间和计算开销。这一设计与传统的迭代采样方法形成了鲜明对比。

关键设计：OMAF采用了联合优化方案，将softmax Q值估计与流策略目标结合，确保了策略学习的稳定性和样本效率。此外，流模型的参数设置和损失函数设计也经过精心调整，以适应多智能体环境的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OMAF在10个标准任务中表现优异，相较于基线方法，其返回率提高了3.4倍，样本效率提升了10.5倍。这些结果验证了OMAF在在线多智能体强化学习中的有效性和优势。

🎯 应用场景

OMAF框架在多智能体系统中具有广泛的应用潜力，特别是在机器人协作、无人驾驶车辆、智能制造等领域。通过提高协调行为的学习效率，OMAF能够推动这些领域的智能化进程，提升系统的整体性能和响应速度。未来，OMAF的理念也可能扩展到其他需要协调决策的复杂系统中。

📄 摘要（原文）

Multi-agent reinforcement learning (MARL) provides a powerful framework for learning coordinated behaviors through interactions with the environment. Developing MARL policies requires balancing expressive modeling of complex and multimodal action distributions with efficient training and execution. Generative policies, particularly diffusionbased policies, can faithfully capture complex and multimodal behaviors, but costly iterative sampling hinders their scalability in online multi-agent settings. We propose an Online MARL framework via one-step Flow model (OMAF) that combines expressive generative policies with efficient one-step action generation. OMAF employs a Transformer-based flow policy to capture complex coordination behaviors, while its approximate path score surrogate provides a principled route to synchronized flow policy optimization. To enable stable and sampleefficient learning, we further develop a joint optimization scheme coupling softmax Q-value estimation with a joint flow policy objective for coordinated policy learning. By eliminating iterative sampling, OMAF dramatically reduces training overhead without sacrificing policy expressiveness. Extensive experiments across 10 standard tasks from MPE and MAMuJoCo show that OMAF consistently achieves superior performance, with up to 3.4x higher returns and 10.5x sample efficiency improvement compared with baseline methods. These results validate the effectiveness of OMAF as an expressive and computationally efficient one-step flow policy paradigm for online MARL.