MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation

📄 arXiv: 2609.30837v1 📥 PDF

作者: Tianze Xu, Yanzhao Zheng, Zhentao Zhang, Yuanqiang Yu, Chao Ma, Jihuai Zhu, Lelun Wu, Lyumanshan Ye, Pengfei Liu, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu

分类: cs.LG, cs.AI

发布日期: 2026-09-25

备注: 19 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出MOPD-Router以解决多教师蒸馏中的路由问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 动态路由 无标签学习 知识整合 ExpertAlign 机器学习 自然语言处理

📋 核心要点

  1. 现有的多教师在线蒸馏方法依赖于每个提示的领域标签进行硬路由，限制了无标签数据的使用。
  2. MOPD-Router框架通过在每个token上动态路由教师信号，避免了对领域标签的依赖，提升了信息利用率。
  3. 实验结果显示，ExpertAlign在无标签数据上提升了5.88分，在领域标签数据上提升了3.95分，表现优于传统方法。

📝 摘要（中文）

多教师在线蒸馏（MOPD）将多个教师的专业能力整合到一个学生模型中，但现有方法通常依赖于每个提示的领域标签进行硬路由，限制了无标签训练混合的使用，并未充分利用其他教师的互补信号。本文提出了MOPD-Router框架，在每个token上对全教师池进行路由，无需领域标签或单独训练路由模型。该框架的插件接口支持不同的指标来选择和加权教师特定的在线蒸馏信号。我们提出的ExpertAlign通过评估教师在当前token对学生的修正是否体现了其在后训练中获得的专业化来对教师进行评分。实验结果表明，ExpertAlign在无标签和领域标签的训练混合下均表现出色，显著提升了整体性能。

🔬 方法详解

问题定义：现有的多教师在线蒸馏方法通常依赖于每个提示的领域标签进行硬路由，这限制了无标签训练数据的使用，并未充分利用其他教师的互补信号。

核心思路：MOPD-Router框架通过在每个token上动态路由教师信号，避免了对领域标签的依赖，能够更有效地整合来自不同教师的知识。

技术框架：该框架包含一个插件接口，支持不同的指标选择和加权教师特定的在线蒸馏信号。ExpertAlign是其中的一个重要模块，通过评估教师的修正是否体现其专业化来进行评分。

关键创新：MOPD-Router的核心创新在于其动态路由机制，允许在每个token上选择最合适的教师信号，而不是依赖于固定的领域标签，从而提高了信息的利用效率。

关键设计：在ExpertAlign中，教师的评分基于其对学生的修正是否体现了专业化，此外还与教师的置信度（熵）和教师-学生差异（新颖性）进行比较。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ExpertAlign在无标签数据上提升了5.88分（+12.3%），在领域标签数据上提升了3.95分（+7.8%），均优于传统的平均聚合和标准MOPD方法，展示了动态路由的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等多模态学习任务，尤其是在需要整合多种知识来源的场景中。通过提高无标签数据的利用效率，MOPD-Router能够在实际应用中显著提升模型性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Multi-teacher on-policy distillation (MOPD) integrates specialized capabilities into a single student, but existing practice typically hard-routes each prompt to a domain-matched teacher for the entire rollout. This dependence on prompt-level domain labels restricts using unlabeled training mixtures and leaves complementary signals from other teachers unused. We introduce MOPD-Router, a framework that routes supervision over the full teacher pool at each token, without domain labels or training a separate routing model. Its plug-in interface supports different metrics for selecting and weighting teacher-specific OPD signals. Within this interface, we propose ExpertAlign, which scores each teacher by whether its correction to the student at the current token expresses the specialization that teacher acquired during post-training, and compare it against two reference metrics built on teacher confidence (Entropy) and teacher-student discrepancy (Novelty). Experiments on unlabeled and domain-labeled training mixtures under strong-to-weak and same-size distillation scenarios show that ExpertAlign achieves the strongest overall performance in all four settings. On unlabeled data, it improves the overall score by 5.88 (+12.3%) points over Mean aggregation; on domain-labeled data, it outperforms standard MOPD by 3.95 (+7.8%) points without using available domain labels. These results demonstrate token-level routing can exploit cross-domain complementary supervision, and reduce exclusive reliance on prompt-level domain assignment. Code is available at: https://github.com/TURLEing/MOPD-Router.