Value-Guidance MeanFlow for Offline Multi-Agent Reinforcement Learning

📄 arXiv: 2604.08174v1 📥 PDF

作者: Teng Pang, Zhiqiang Dong, Yan Zhang, Rongjian Xu, Guoqiang Wu, Yilong Yin

分类: cs.LG

发布日期: 2026-04-09

💡 一句话要点

提出VGM$^2$P，通过值引导MeanFlow解决离线多智能体强化学习中的策略学习效率问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 离线多智能体强化学习 MeanFlow 值引导 条件行为克隆 策略学习 全局优势值 无分类器引导

📋 核心要点

  1. 现有离线多智能体强化学习方法在策略学习中存在采样效率低、对超参数敏感等问题。
  2. VGM$^2$P利用全局优势值引导智能体协作，并将策略学习转化为条件行为克隆问题。
  3. 实验表明，VGM$^2$P在离散和连续动作空间中均能达到与SOTA方法相当的性能，且训练效率高。

📝 摘要（中文）

本文提出了一种名为值引导多智能体MeanFlow策略(VGM$^2$P)的离线多智能体强化学习框架，旨在解决现有方法在最大化全局回报和缓解离线数据分布偏移之间难以平衡的问题。现有方法通常依赖多步迭代采样，降低了训练和推理效率，并且对行为正则化系数敏感。VGM$^2$P通过全局优势值引导智能体协作，将最优策略学习视为条件行为克隆，并利用无分类器引导MeanFlow来提高策略表达能力和推理效率。实验结果表明，即使仅通过条件行为克隆进行训练，VGM$^2$P也能高效地达到与最先进方法相当的性能，适用于离散和连续动作空间。

🔬 方法详解

问题定义：离线多智能体强化学习旨在从预先收集的数据集中学习最优联合策略。现有方法，如基于扩散模型或Flow模型的生成模型，虽然能够捕捉智能体之间复杂的联合策略行为，但通常依赖于多步迭代采样，导致训练和推理效率低下。此外，即使通过蒸馏等方法提高采样效率，仍然对行为正则化系数非常敏感。因此，如何提高离线MARL中策略学习的效率和鲁棒性是一个关键问题。

核心思路：VGM$^2$P的核心思路是将最优策略学习视为条件行为克隆，并利用全局优势值来引导智能体之间的协作。通过全局优势值，智能体可以更好地理解彼此的行为，从而学习到更有效的联合策略。同时，采用条件行为克隆的方式，可以避免显式地进行策略探索，从而提高学习效率。

技术框架：VGM$^2$P的整体框架包括以下几个主要组成部分：1) 离线数据集：包含智能体的状态、动作和奖励信息。2) 全局优势值估计器：用于估计每个状态-动作对的全局优势值。3) MeanFlow策略网络：用于学习智能体的策略，该网络以状态和全局优势值为输入，输出智能体的动作。4) 训练过程：通过条件行为克隆的方式训练MeanFlow策略网络，即最小化策略网络输出的动作与离线数据集中动作之间的差异。

关键创新：VGM$^2$P的关键创新在于以下两点：1) 利用全局优势值引导智能体协作：通过全局优势值，智能体可以更好地理解彼此的行为，从而学习到更有效的联合策略。2) 采用无分类器引导MeanFlow：通过无分类器引导MeanFlow，可以提高策略的表达能力和推理效率，同时降低对行为正则化系数的敏感性。

关键设计：VGM$^2$P的关键设计包括：1) 全局优势值估计器的设计：可以使用任何标准的优势值估计方法，例如TD-lambda或GAE。2) MeanFlow策略网络的设计：可以使用任何标准的Flow模型，例如RealNVP或Glow。3) 损失函数的设计：使用条件行为克隆损失函数，即最小化策略网络输出的动作与离线数据集中动作之间的差异。4) 无分类器引导的设计：通过在训练过程中随机丢弃全局优势值，可以提高策略的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VGM$^2$P在多个离线多智能体强化学习任务中取得了显著的性能提升。例如，在星际争霸II微操任务中，VGM$^2$P的性能与最先进的方法相当，并且训练效率更高。此外，VGM$^2$P对行为正则化系数的敏感性较低，具有更好的鲁棒性。

🎯 应用场景

VGM$^2$P具有广泛的应用前景，例如在自动驾驶、机器人协作、资源分配等领域。在自动驾驶中，可以利用VGM$^2$P学习车辆之间的协同驾驶策略，提高交通效率和安全性。在机器人协作中，可以利用VGM$^2$P学习机器人之间的协同操作策略，完成复杂的任务。在资源分配中，可以利用VGM$^2$P学习智能体之间的资源分配策略，提高资源利用率。

📄 摘要（原文）

Offline multi-agent reinforcement learning (MARL) aims to learn the optimal joint policy from pre-collected datasets, requiring a trade-off between maximizing global returns and mitigating distribution shift from offline data. Recent studies use diffusion or flow generative models to capture complex joint policy behaviors among agents; however, they typically rely on multi-step iterative sampling, thereby reducing training and inference efficiency. Although further research improves sampling efficiency through methods like distillation, it remains sensitive to the behavior regularization coefficient. To address the above-mentioned issues, we propose Value Guidance Multi-agent MeanFlow Policy (VGM$^2$P), a simple yet effective flow-based policy learning framework that enables efficient action generation with coefficient-insensitive conditional behavior cloning. Specifically, VGM$^2$P uses global advantage values to guide agent collaboration, treating optimal policy learning as conditional behavior cloning. Additionally, to improve policy expressiveness and inference efficiency in multi-agent scenarios, it leverages classifier-free guidance MeanFlow for both policy training and execution. Experiments on tasks with both discrete and continuous action spaces demonstrate that, even when trained solely via conditional behavior cloning, VGM$^2$P efficiently achieves performance comparable to state-of-the-art methods.