MAS-OPD: On-Policy Distillation for Multi-agent Systems

📄 arXiv: 2609.34234v1 📥 PDF

作者: Qiyong Zhong, Mao Zheng, Mingyang Song, Houcheng Jiang, Jiajie Su, Huwei Ji, Li Zhang, Junfeng Fang

分类: cs.CL

发布日期: 2026-09-28

💡 一句话要点

提出MAS-OPD以解决多智能体系统中的角色协作问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体系统 在线蒸馏 角色协作 强化学习 角色优势专业化 特权归因 智能体学习

📋 核心要点

  1. 现有多智能体系统方法依赖推理时协调，难以实现稳定的角色能力和可靠的协作。
  2. MAS-OPD通过在线蒸馏提供密集的教师监督信号，解决了局部奖励设计的问题。
  3. 实验表明，MAS-OPD在学生规模上取得最高平均分，促进了角色专精和有效协作行为的发展。

📝 摘要（中文）

多智能体系统（MAS）通过专业角色分配任务，适用于复杂任务，但现有方法主要依赖推理时的协调，导致定制化困难。现有的强化学习方法在团队奖励上无法明确每个智能体的贡献，而局部奖励需要针对每个任务重新设计。本文提出的在线蒸馏（OPD）方法为智能体提供了更密集的教师监督信号，克服了这些挑战。MAS-OPD通过角色优势专业化和特权归因协调，提升了智能体的角色专精和协作能力，实验结果显示其在代码和数学基准测试中取得了最佳成绩。

🔬 方法详解

问题定义：本文旨在解决多智能体系统中角色协作不稳定的问题。现有方法依赖于推理时的协调和强化学习，无法明确每个智能体的贡献，且局部奖励设计复杂。

核心思路：MAS-OPD通过在线蒸馏为智能体提供密集的教师信号，避免了局部奖励的设计问题。角色优势专业化和特权归因协调是其核心思想，旨在提升智能体的角色专精和协作能力。

技术框架：MAS-OPD的整体架构包括两个主要模块：角色优势专业化和特权归因协调。前者通过比较教师信号在目标和非目标角色条件下的差异来定义角色优势，后者则将交互冲突归因于其源头，并将其作为特权信息提供给教师。

关键创新：MAS-OPD的关键创新在于角色优势的定义和特权归因的机制，这与传统的强化学习方法形成了本质区别，后者通常依赖于团队奖励和局部奖励的设计。

关键设计：在实现中，MAS-OPD采用了特定的损失函数来优化角色优势，并设计了网络结构以支持角色间的信息共享和协作。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MAS-OPD在代码和数学基准测试中取得了最高平均分，超越了现有基线，提升幅度显著，表明其在角色专精和协作行为方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人协作、智能交通系统和多智能体游戏等。通过提升智能体的角色专精和协作能力，MAS-OPD能够在复杂任务中实现更高效的协作，具有显著的实际价值和未来影响。

📄 摘要（原文）

Multi-agent systems (MAS) split a task across specialized roles and are promising on complex tasks, yet a prevailing approach relies on inference-time orchestration alone. General-purpose APIs are costly and hard to customize, while small models with role prompts rarely develop stable role competence or reliable collaboration, so post-training a MAS jointly is central. Most attempts use reinforcement learning, whose team-level reward leaves undetermined which step of which agent brought about the outcome, while local rewards need redesigning per task. On-policy distillation (OPD) gives token-level teacher supervision on trajectories the student samples, a denser signal needing no local reward, yet is underexplored for the interdependent agents of a MAS. Two difficulties arise: building complementary specialization from a judgement of which role a behavior belongs to while preserving the knowledge all roles need, and turning cross-agent collaborative information into supervision OPD can exploit. We present MAS-OPD, where Role-Advantage Specialization defines the role advantage as the difference between the teacher signals under target and non-target role conditions, and Privileged Attribution for Coordination attributes an interaction conflict to its source and supplies it to the teacher alone as privileged information. Extensive experiments on code and mathematics benchmarks show that MAS-OPD attains the highest mean score at both student scales and leads the agents to develop clearer role specialization and more effective collaborative behavior.