Test-time Multi-agent Coordination by Decomposed Value Gradient Flow

📄 arXiv: 2610.02554v1 📥 PDF

作者: Dongsu Lee, Haoran Xu, Amy Zhang

分类: cs.LG, cs.RO

发布日期: 2026-10-01

备注: NeurIPS 2026

💡 一句话要点

提出SCOUT框架以解决离线多智能体协调问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线强化学习 多智能体系统 生成模型 价值函数 动作优化 Stein变分梯度

📋 核心要点

  1. 现有的离线多智能体强化学习方法在生成策略与价值优化之间存在权衡，导致协调能力不足。
  2. 本文提出的SCOUT框架通过结合生成模型与学习的价值函数，实现了在测试时的动作优化，提升了协调能力。
  3. 实验结果显示，SCOUT在离线和在线配置中均取得了最佳平均性能，显著提升了多智能体系统的表现。

📝 摘要（中文）

离线多智能体强化学习（MARL）面临着一个持续的权衡问题：表达能力强的生成策略能够表示数据中的多模态协调，但无法区分高价值区域，而优化价值的策略则会将多模态压缩为单一主导模式。本文提出了一种可扩展的协调方法SCOUT，结合生成基础模型与学习的价值函数，通过测试时的动作优化实现协调。SCOUT训练两个解耦组件：流匹配行为先验和分解价值函数。在测试时，通过Stein变分梯度下降将行为样本传输到高价值区域。实验表明，SCOUT在离线MARL基准测试中表现最佳，并在所有离线到在线配置中均有性能提升。

🔬 方法详解

问题定义：本文旨在解决离线多智能体强化学习中的协调问题，现有方法在生成多模态策略与优化价值函数之间存在权衡，导致模式崩溃和协调失效。

核心思路：SCOUT框架通过训练流匹配行为先验和分解价值函数，结合生成模型与价值函数，在测试时通过样本传输优化策略，提升协调效果。

技术框架：SCOUT的整体架构包括两个主要模块：流匹配行为先验和分解价值函数。在测试阶段，利用Stein变分梯度下降将行为样本传输至高价值区域，控制传输步数以实现自适应缩放。

关键创新：SCOUT是首个将生成模型与学习的价值函数结合的离线MARL框架，提出了在测试时的动作优化策略，解决了现有方法的模式崩溃问题。

关键设计：在SCOUT中，传输步数的设置取代了固定的正则化系数，采用个体-全局最大（IGM）原则证明了联合软价值差距的KL界限，确保在传输收敛时差距消失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCOUT在离线和连续的MARL基准测试中表现出色，平均性能超过了所有对比基线，尤其在离线到在线的配置中，性能提升幅度显著，展示了其在实际应用中的有效性和可靠性。

🎯 应用场景

SCOUT框架在多智能体系统中具有广泛的应用潜力，尤其是在需要协调的复杂任务中，如自动驾驶、机器人协作和智能制造等领域。其优化的协调能力能够提升系统的整体效率和决策质量，未来可能推动智能体在动态环境中的应用。

📄 摘要（原文）

Offline multi-agent reinforcement learning (MARL) faces a persistent trade-off. Expressive generative policies can represent multi-modal coordination in the data, but cannot distinguish high-value regions, while value-optimized policies exploit the learned Q-function but collapse the multi-modal into a single dominant mode. A single agent's mode collapse can break joint coordination, and simultaneous drift across agents can push the joint policy into unseen regions of the action space. We propose scalable coordination via optimal unified transport (SCOUT), the first offline MARL framework to combine a generative foundation model with a learned value function through test-time action refinement. SCOUT trains two decoupled components: a flow-matching behavioral prior and a decomposed value function. At test-time, it transports behavioral samples toward high-value regions via Stein variational gradient descent. The number of transport steps controls adaptive test-time scaling, replacing a fixed regularization coefficient. Under the individual-global-max (IGM) principle, we prove a single-term KL bound on the joint soft-value gap that vanishes as transport converges, with an irreducible additive residual proportional to the IGM violation. Empirically, SCOUT achieves the best average performance across discrete and continuous offline MARL benchmarks and yields performance improvements in all offline-to-online configurations.