Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

📄 arXiv: 2609.35347v1 📥 PDF

作者: Xin Li, Hao Jiang, Xin Gao, Annan Wang, Yuchen Xie, Jinghao Guo, Xingwei Qu, Yichi Zhang, Chau Yuen

分类: cs.LG

发布日期: 2026-09-28

备注: Project page: https://lixin.ai/DN-MOPD . Code: https://github.com/LiXin97/DN-MOPD

💡 一句话要点

提出域归一化多教师在线蒸馏以提升强化学习模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多教师蒸馏 强化学习 模型优化 反馈机制 自然语言处理

📋 核心要点

  1. 现有的多教师在线蒸馏方法在反馈强度上存在不平衡，导致学生模型未能充分利用各领域专家的优势。
  2. 本文提出域归一化多教师在线蒸馏（DN-MOPD），通过调整各领域反馈的强度来优化学生模型的学习过程。
  3. 在六个公共基准测试中，DN-MOPD在所有模型规模上均表现优异，恢复了数学领域的学习优势。

📝 摘要（中文）

强化学习能够将一个语言模型转变为多个专长于单一技能的专家，但用户需要一个具备所有技能的模型。多教师在线蒸馏（MOPD）通过让专家教授一个学生来合并这些技能。然而，MOPD的反馈不平衡，导致学生未能充分利用数学专家的优势。为此，本文提出域归一化多教师在线蒸馏（DN-MOPD），通过调整各领域反馈的强度来改善学生的学习效果。在六个公共基准测试中，DN-MOPD在各个模型规模上均优于MOPD，并恢复了大部分数学优势。

🔬 方法详解

问题定义：本文旨在解决多教师在线蒸馏（MOPD）中反馈不平衡的问题，导致学生模型未能充分利用数学专家的优势。现有方法在不同领域反馈强度上存在显著差异，影响了学生的学习效果。

核心思路：提出域归一化多教师在线蒸馏（DN-MOPD），通过对各领域反馈进行归一化处理，以平衡不同领域专家的反馈强度，从而提升学生模型的整体性能。

技术框架：DN-MOPD的整体架构包括专家模型、学生模型和反馈调整模块。专家模型根据输入的提示选择相应的领域专家，学生模型接收反馈并进行学习，反馈调整模块则负责对不同领域的反馈进行归一化处理。

关键创新：DN-MOPD的核心创新在于引入了反馈强度的归一化机制，解决了MOPD中反馈不平衡的问题，使得学生模型能够更有效地吸收各领域专家的知识。

关键设计：在参数设置上，本文通过实验确定了各领域反馈的归一化因子，并设计了相应的损失函数以平衡不同领域的学习效果。网络结构上，学生模型的反馈接收机制经过优化，以确保反馈的有效性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，DN-MOPD在六个公共基准测试中均优于MOPD，且在所有模型规模上都有显著提升，尤其是在数学领域，恢复了大部分的学习优势。具体而言，DN-MOPD在多个随机种子和不同回答长度限制下均表现出色，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和教育技术等。通过提升模型在多领域的学习能力，DN-MOPD能够为用户提供更全面的智能服务，满足不同场景下的需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning can turn one language model into several specialists, each excellent at a single skill such as mathematics, coding or following instructions, but users need one model with all of these skills. Multi-teacher on-policy distillation (MOPD) merges them by letting the specialists teach one student: the student answers each prompt, and the specialist for that prompt's domain gives feedback on every token. This routing decides which specialist teaches, but not how strongly its feedback moves the shared student. In Qwen3.5 models at three sizes, we find that MOPD's student does not beat one taught by the best single specialist and gains little of the mathematics specialist's advantage. The feedback is unbalanced: instruction-following feedback is several times more spread out than mathematics feedback and dominates the student's updates. We propose Domain-Normalized MOPD (DN-MOPD), which keeps the routing and rescales each domain's feedback by its measured spread. On six public benchmarks, DN-MOPD improves the average score over MOPD at every size, across three random seeds and under two answer-length limits, and recovers most of the lost mathematics gain. Controls with fixed domain weights show that the gain comes mainly from turning down instruction-following feedback rather than turning up mathematics alone, and that fixed weights close to those DN-MOPD measures perform comparably. Combining specialists therefore requires deciding not only which one teaches, but also how strongly its feedback counts.