Calibrating Teacher--Student Discrepancy for On-Policy Distillation

📄 arXiv: 2609.21619v1 📥 PDF

作者: Qiangqiang He, Jin Li, MingCai Chen

分类: cs.AI

发布日期: 2026-09-18

💡 一句话要点

提出Cal-OPD以解决教师与学生模型间的差异问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 模型蒸馏 自偏差校准 推理模型 机器学习 数学推理 特权干预

📋 核心要点

  1. 现有的政策蒸馏方法未能有效区分教师与学生之间的真实能力差距和教师自身的偏差，导致学习效果受限。
  2. 本文提出的Cal-OPD方法通过正负特权干预来估计教师的自偏差区域，从而校准教师-学生差异，提升学习效果。
  3. 实验结果显示，Cal-OPD在多个模型规模上均优于标准OPD，尽管仅使用了52-65%的原始差异作为优化信号。

📝 摘要（中文）

在政策蒸馏（OPD）中，通过学习强教师与在政策学生之间的标记级差异来提升推理模型。然而，这种差异不仅反映了教师与学生之间的能力差距，还包含了教师自身的偏差。本文提出了校准的政策蒸馏（Cal-OPD），通过正负特权干预估计教师的自偏差区域，并校准原始的教师-学生差异，仅保留超出该区域的成分。实验结果表明，Cal-OPD在数学推理基准上表现优于标准OPD及其变体，尽管仅保留了52-65%的原始差异作为优化信号。

🔬 方法详解

问题定义：本文旨在解决在政策蒸馏中教师与学生模型间的差异不纯粹反映能力差距的问题，现有方法未能有效分离教师的自偏差与学生的学习信号。

核心思路：Cal-OPD通过正负特权干预来估计教师的自偏差区域，从而校准教师-学生差异，仅保留超出该区域的成分，以提高学生模型的学习效果。

技术框架：该方法包括两个主要阶段：首先，通过特权干预获取教师的自偏差区域；其次，校准教师-学生差异，优化学生模型的学习信号。

关键创新：Cal-OPD的核心创新在于引入了自偏差区域的估计机制，使得教师-学生差异的学习更加精准，避免了教师自身偏差的干扰。

关键设计：在参数设置上，Cal-OPD保留了52-65%的原始差异作为优化信号，损失函数设计上强调了校准后的差异成分，以确保学生模型的有效学习。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Cal-OPD在数学推理基准上表现优于标准OPD及其变体，尽管仅保留52-65%的原始教师-学生差异作为优化信号，仍能显著提升模型性能，展示了其有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要模型蒸馏的任务，能够有效提升模型的推理能力和学习效率。未来，Cal-OPD有望在更广泛的机器学习任务中应用，推动智能系统的进一步发展。

📄 摘要（原文）

On-policy distillation (OPD) improves reasoning models by learning the token-level discrepancy between a stronger teacher and an on-policy student. However, this discrepancy does not purely reflect the capability gap between the teacher and the student: it also contains deviations arising from the teacher itself, which are consequently mixed into the observed teacher--student discrepancy and indiscriminately learned by standard OPD during training. This issue is further exacerbated by privileged OPD, where privileged information induces larger teacher-side likelihood shifts, thereby encouraging the student to learn more of the teacher's own deviation. We introduce \textbf{Calibrated On-Policy Distillation (Cal-OPD)}, which estimates the teacher's self-deviation region through positive and negative privileged interventions and calibrates the original teacher--student discrepancy by retaining only the component that lies beyond this region. Experiments on mathematical reasoning benchmarks show that, while retaining only about 52--65\% of the original teacher--student discrepancy as the optimization signal, Cal-OPD consistently outperforms standard OPD and its variants across model scales.