Mean-Field Diffuser: Scaling Offline MARL to Thousands of Agents
作者: Wenhao Li, Xiangfeng Wang, Bo Jin
分类: cs.LG
发布日期: 2026-05-28
备注: 71 pages, 15 figures, 16 tables
💡 一句话要点
提出MF-Diffuser以解决多智能体离线强化学习的扩展问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体系统 离线强化学习 轨迹规划 均值场理论 混沌传播 Wasserstein空间 收益最大化 次优策略
📋 核心要点
- 现有的多智能体离线强化学习方法在处理大规模智能体时面临维度诅咒，导致性能下降。
- MF-Diffuser框架通过在Wasserstein空间中进行轨迹规划，利用混沌传播有效捕获全体智能体动态。
- 实验结果显示，MF-Diffuser在多个基准测试中取得了最佳收益，特别是在次优离线数据和大规模场景下表现突出。
📝 摘要（中文）
基于扩散的规划在单智能体离线强化学习中取得了良好效果，但在多智能体系统中由于联合轨迹空间的维度诅咒而难以扩展。本文提出MF-Diffuser框架，将轨迹规划提升至轨迹分布的Wasserstein空间，通过混沌传播确保小代表性子集捕获全体动态。该方法采用值加权混沌熵目标，平衡生成保真度与收益最大化，并通过分层粗到细策略逐步增加智能体数量。我们建立了端到端的次优性界限，揭示均值场近似误差以$O(H^2/ ext{sqrt}(N))$的速度缩放，而离线分布偏移在群体规模$N$下不会增长，并证明生成的策略是近似均值场纳什均衡，具有明确的收敛保证。实验表明MF-Diffuser在多个基准测试中表现优异，尤其在次优离线数据和极大规模下（$N ext{≥} 10^3$）取得了最佳收益。
🔬 方法详解
问题定义：本文旨在解决多智能体离线强化学习中，因维度诅咒导致的联合轨迹空间扩展困难的问题。现有方法在处理大规模智能体时，性能显著下降，无法有效利用离线数据。
核心思路：MF-Diffuser通过将轨迹规划提升至Wasserstein空间，利用混沌传播的特性，使得小规模的代表性智能体能够捕获整个群体的动态，从而有效应对维度诅咒。
技术框架：MF-Diffuser的整体架构包括轨迹分布建模、值加权混沌熵目标优化和分层粗到细的智能体增加策略。该框架通过逐步增加智能体数量来进行去噪，确保生成的策略具有较高的保真度和收益。
关键创新：本文的主要创新在于提出了值加权混沌熵目标和分层策略，这使得在大规模智能体环境中，能够有效地平衡生成的策略质量与收益最大化，且实现了均值场纳什均衡的收敛保证。
关键设计：在损失函数设计上，采用了值加权的混沌熵目标，确保生成策略的多样性和收益。同时，框架中的分层策略允许在去噪过程中逐步扩展智能体数量，优化了计算效率和性能。
🖼️ 关键图片
📊 实验亮点
在三个均值场强化学习基准测试中，MF-Diffuser在大多数设置下实现了最佳收益，尤其在处理次优离线数据时，表现出显著的提升，尤其在极大规模（$N ext{≥} 10^3$）场景中，收益提升幅度最大。
🎯 应用场景
MF-Diffuser的研究成果在多个领域具有潜在应用价值，包括智能交通系统、无人机编队、机器人协作等。在这些场景中，能够有效处理大规模智能体的决策问题，提升系统的整体效率和性能，具有重要的实际意义和未来影响。
📄 摘要（原文）
Diffusion-based planning has achieved strong results in single-agent offline reinforcement learning, yet scaling to many-agent systems remains intractable due to the curse of dimensionality in the joint trajectory space. We introduce MF-Diffuser, a framework that lifts trajectory planning to the Wasserstein space of trajectory distributions, where the propagation of chaos ensures a small representative subset of agents captures the full population dynamics. Our approach features a value-weighted chaotic entropy objective that reconciles generative fidelity with return maximization, and a hierarchical coarse-to-fine strategy that progressively grows the agent population during denoising. We establish end-to-end suboptimality bounds with four interpretable terms, revealing that mean-field approximation error scales as $O(H^2/\sqrt{N})$ while offline distribution shift provably does not grow with population size $N$, and prove the generated policy is an approximate mean-field Nash equilibrium with explicit convergence guarantees. Experiments on three mean-field RL benchmarks -- spanning stage games, sequential dynamics, and adversarial team competition -- show MF-Diffuser achieves the best return in the majority of settings, with the largest gains on suboptimal offline data and at extreme scales ($N \geq 10^3$).