Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models

📄 arXiv: 2609.38025v1 📥 PDF

作者: Zhenyu Wang, Tianze Wang, Linjun Zhang, Yifan Hu

分类: cs.LG, cs.AI, cs.CL, math.OC

发布日期: 2026-09-29

💡 一句话要点

提出Dr. OPD以优化大语言模型的在线蒸馏训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线蒸馏训练 大语言模型 加权学习 双层优化 性能提升

📋 核心要点

  1. 现有的在线蒸馏训练方法未能有效区分教师信号对学生性能的不同影响，导致训练效果不佳。
  2. 本文提出Dr. OPD，通过加权教师信号来优化学生的学习过程，旨在提升学生的最终表现。
  3. 实验结果显示，Dr. OPD在多个任务上均优于传统方法，特别是在强到弱的蒸馏设置中表现显著提升。

📝 摘要（中文）

在线蒸馏训练（OPD）通过强教师生成的响应对学生进行训练，但传统的OPD方法对教师信号的处理过于简单，未考虑不同token的重要性。为此，本文提出Dr. OPD（OPD Done Right），通过加权的OPD最大化学生的表现。该方法被形式化为一个双层优化问题，学生在加权教师监督下学习，权重的选择旨在最大化期望奖励。我们开发了一种高效的迭代求解器，交替更新token权重和学生策略。实验证明，Dr. OPD在数学和代码的蒸馏任务中均优于所有基线，尤其在强到弱的蒸馏设置中，平均数学表现提高了9.7分。

🔬 方法详解

问题定义：本文旨在解决传统在线蒸馏训练（OPD）中教师信号处理不当的问题，现有方法未能考虑不同token对学生性能的不同影响，导致训练效果不理想。

核心思路：论文提出Dr. OPD，通过加权教师信号来优化学生的学习过程，权重的选择基于最大化期望奖励的原则，从而提高学生的最终表现。

技术框架：整体方法包括两个主要阶段：首先，使用闭式形式更新token权重；其次，基于更新后的权重对学生策略进行一次梯度更新。

关键创新：Dr. OPD的核心创新在于引入了加权的在线蒸馏机制，能够根据教师信号的重要性动态调整学习策略，与传统的均匀处理方法形成鲜明对比。

关键设计：在实现过程中，设计了高效的迭代求解器，确保在每轮更新中能够快速计算权重，并进行有效的梯度更新，以提升训练效率和效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Dr. OPD在强到弱的蒸馏设置中，平均数学表现提高了9.7分，且在多个任务上均超越了所有对比基线，显示出其在优化学生模型性能方面的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和自动化推理等任务。通过优化大语言模型的蒸馏过程，Dr. OPD能够提升小模型的性能，使其在资源受限的环境中也能实现高效的推理和生成，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own generated responses using dense, token-level supervision from a stronger teacher. Vanilla OPD treats all teacher signals equally, assuming that the teacher's supervision is equally important for every token. However, teacher signals at different tokens may have very different effects on the student's performance: some correct important reasoning errors, while others have little effect on the final answer. Motivated by this observation, we introduce Dr. OPD (OPD Done Right), which defines the optimal weighted OPD to maximize the student's performance. We formulate Dr. OPD as a bilevel optimization problem in which the student learns from weighted teacher supervision, while the weights are selected to maximize the expected reward of the resulting student. To solve Dr. OPD, we develop an efficient iterative solver that updates the token weights and student policy alternatively. At each round, it updates weights in closed form and then takes one gradient step on the resulting weighted OPD objective. Under regularity conditions, we show that this weighted update achieves a higher expected reward than a vanilla OPD update. Empirically, across strong-to-weak and same-size distillation on math and code, Dr. OPD consistently outperforms all evaluated baselines. In particular, in the strong-to-weak distillation setting, Dr. OPD improves average math performance by $9.7$ points over vanilla OPD, and enables the smaller student to surpass its larger teacher.