From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation

📄 arXiv: 2610.02179v1 📥 PDF

作者: Siqi Zhu, Suozhi Huang, Kaixuan Zhang, Yuheng Yang, Zhanyang Jin, Yihang Sun, Jiaxuan You

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出多教师在线蒸馏方法以提升强化学习模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 强化学习 模型优化 参数更新 任务性能提升

📋 核心要点

  1. 现有的多教师蒸馏方法未能充分理解教师信号对学生模型参数更新的影响，导致性能提升有限。
  2. 论文提出了一种新的多教师在线蒸馏方法，通过分析教师信号的影响因素，优化学生模型的学习过程。
  3. 实验结果表明，采用不同的平均化策略可以显著提高任务性能，例如数学准确率在某些情况下提升了2.6分。

📝 摘要（中文）

多教师在线蒸馏（MOPD）旨在将多个强化学习训练的教师模型的优势结合到一个学生模型中，但教师信号如何影响参数变化仍未得到充分探讨。本文研究了Qwen3-1.7B模型，使用四个从相同初始化训练的领域教师进行比较，分析了梯度、优化器更新和任务学习曲线，并进行了SmolLM3-3B的额外诊断。研究发现，多个因素影响教师信号，包括损失平均化对响应的隐式加权、Adam优化器的第一矩减少参数更新差异、BF16舍入隐藏的小变化，以及不同平均化方式对任务性能的影响。

🔬 方法详解

问题定义：本文旨在解决多教师在线蒸馏中教师信号对学生模型参数更新影响不明确的问题。现有方法未能深入探讨教师信号如何影响学习过程，导致模型性能未能得到充分发挥。

核心思路：论文通过对教师信号的多方面分析，揭示了损失平均化、优化器特性及数值表示对模型学习的影响，提出了一种更有效的蒸馏策略。

技术框架：研究主要包括四个领域教师模型与学生模型的对比，分析梯度、优化器更新及任务学习曲线，结合SmolLM3-3B进行诊断，形成完整的实验框架。

关键创新：论文的创新点在于系统性地分析了教师信号的影响因素，如损失平均化对响应的加权、Adam优化器的参数更新特性等，这些分析为优化蒸馏过程提供了新的视角。

关键设计：在实验中，采用了不同的损失平均化策略，比较了基于响应平均和全局令牌平均的效果，发现不同策略对任务性能的影响显著，尤其是在数学任务上表现出不同的准确率提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用响应平均策略时，数学准确率提升了2.6分，而全局令牌平均策略则降低了2.1分。这表明教师信号的处理方式对模型性能有显著影响，强调了优化蒸馏策略的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、强化学习和智能代理系统等。通过优化教师信号的利用，能够提升学生模型的学习效率和任务性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multi-teacher on-policy distillation (MOPD) aims to combine the strengths of RL-trained teachers in a single student, but how teacher signals affect parameter changes remains underexplored. We study Qwen3-1.7B with four domain teachers trained with RL from the same initialization as the student, comparing gradients, optimizer updates, and task learning curves, with additional SmolLM3-3B diagnostics. We find that several factors influence teacher signals. First, loss averaging implicitly weights responses: token averaging favors longer responses, and equalizing domain contributions retains this weighting within domains. Second, Adam's first moment reduces differences in parameter updates: the cosine similarity is 0.83 between teachers and 0.96 between averaging rules, despite differences in raw gradients. Third, BF16 rounding hides small changes: about 97\% of FP32 master weights differ from initialization, but only 7--11\% of BF16 weights do. Finally, the top-64 intersection KL gradient closely matches Qwen's full-vocabulary gradient, but the effect on task performance depends on averaging: mathematics accuracy is 2.6 points higher than with sampled-token policy-gradient (PG) under response averaging and 2.1 points lower under global token averaging.