MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
作者: Yuhan Sun, Jiaxin Zhao, Yongdong Luo, Yibo Hu, Meiguang Jin, Junfeng Ma, Weixun Wang, Weihang Pan, Zhongan Bi
分类: cs.CL
发布日期: 2026-10-16
💡 一句话要点
提出MultiAgent-OPD以解决层次化多智能体系统训练难题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 层次化多智能体系统 强化学习 基于策略的蒸馏 联合训练 智能体协作
📋 核心要点
- 现有方法在层次化多智能体系统中，领导者与子智能体的联合训练面临反馈不足的问题，导致训练效果不佳。
- 论文提出MultiAgent-OPD，通过结合基于策略的蒸馏与强化学习，实现了领导者与子智能体的端到端联合训练。
- 在七个数据集上，所提出的系统达到了38.68%的宏平均@4，显著超越了现有基线，且在问题解决能力上也有提升。
📝 摘要（中文）
在层次化多智能体系统中，领导者分配任务，子智能体执行任务。由于最终答案仅能间接反馈给子智能体，因此联合训练领导者和子智能体面临困难。本文提出MultiAgent-OPD，结合了基于策略的蒸馏与强化学习，能够端到端地训练共享参数的领导者-搜索者-回答者团队。首先，在搜索者-回答者工作流程中训练教师，利用答案的正确性进行评估。在团队训练过程中，冻结的教师对学生生成的搜索和摘要令牌进行评分，为搜索者提供局部过程监督，而领导者从团队成功中学习，回答者则从候选答案的正确性中学习。实验结果表明，该系统在七个数据集上达到了38.68%的宏平均@4，超越了Prompted Critic和C-MAS + RL，且在四次尝试内解决的问题数量也有所增加。
🔬 方法详解
问题定义：论文要解决的问题是如何有效地联合训练层次化多智能体系统中的领导者和子智能体。现有方法由于反馈机制的不足，导致子智能体的训练效果不理想。
核心思路：论文的核心解决思路是引入基于策略的蒸馏技术，结合强化学习，使得领导者和子智能体能够在同一框架下进行有效的端到端训练。这样的设计旨在通过教师的指导，改善子智能体的学习过程。
技术框架：整体架构包括教师、搜索者和回答者三个主要模块。首先，教师在搜索者-回答者工作流程中进行训练，随后在团队训练阶段，教师提供局部监督，领导者和回答者则分别从团队成功和答案正确性中学习。
关键创新：最重要的技术创新点在于将基于策略的蒸馏与强化学习相结合，形成了一个共享参数的团队训练框架。这一方法与传统的单一训练方式有本质区别，能够更好地利用团队协作的优势。
关键设计：在设计中，教师的参数被冻结以提供稳定的监督信号，同时采用了适当的损失函数来平衡领导者和回答者的学习目标，确保训练过程的有效性和稳定性。具体的网络结构和参数设置在实验中经过调优，以达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MultiAgent-OPD在七个数据集上达到了38.68%的宏平均@4，超越了Prompted Critic 4.06个百分点和C-MAS + RL 2.61个百分点。此外，该系统在四次尝试内解决的问题数量也有所增加，展示了其在实际应用中的优势。
🎯 应用场景
该研究的潜在应用领域包括智能客服、自动问答系统以及多智能体协作任务等。通过提升层次化多智能体系统的训练效率和效果，MultiAgent-OPD有望在实际应用中显著提高任务完成的准确性和效率，推动相关领域的发展。
📄 摘要（原文）
In a hierarchical multi-agent system, a Leader assigns tasks and subagents carry them out. Jointly training the Leader and the subagents is difficult because a final answer gives only indirect feedback to the subagents. An LLM judge can score the performance of the subagents, but these scores depend on the judge's own assessment of the quality of subagents' responses. We present MultiAgent-OPD, which combines on-policy distillation with reinforcement learning to jointly train a shared-parameter Leader-Searcher-Answerer team end to end. We first train a Teacher in a Searcher-Answerer workflow using answer correctness. During team training, the frozen Teacher scores student-generated search and summary tokens to provide local process supervision for the Searchers, while the Leader learns from team success and the Answerer from candidate correctness. Across seven datasets, the trained system reaches 38.68% macro avg@4, exceeding Prompted Critic by 4.06 percentage points and C-MAS + RL, the trained cascaded multiagent system, by 2.61 percentage points. The team also solves more questions within four attempts.