Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation

📄 arXiv: 2610.28194v1 📥 PDF

作者: Guangyu Liu, Siyuan Gan, Shilong Zhou, Linjian Meng, Boyan Wang, Jing Huo

分类: cs.LG, cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出自适应回退方法解决在线蒸馏中的惩罚跳跃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 自适应回退 惩罚跳跃 监督学习 模型蒸馏 自然语言处理 代码生成

📋 核心要点

  1. 现有的在线蒸馏方法未能有效区分持续高惩罚与突增惩罚，导致监督信息不足。
  2. 本文提出自适应回退在线蒸馏（AP-OPD），通过局部参考动态调整监督系数，提升模型性能。
  3. 实验结果表明，AP-OPD在数学推理和代码生成任务上均显著优于传统方法，提升效果明显。

📝 摘要（中文）

在线蒸馏（OPD）通过采样的学生-教师对数比率来监督学生生成的响应。然而，现有方法未能有效区分持续高惩罚与响应中的突增惩罚。本文通过比较同一响应中连续的令牌块，识别出惩罚跳跃现象，即在持出令牌上持续存在的平均惩罚的突增。我们提出自适应回退在线蒸馏（AP-OPD），在每个检测到的跳跃处，使用前一个块作为局部参考，均匀缩放后续块的所有监督系数，以匹配前一个块的原始均值。这种方法在数学推理和代码生成任务上均表现出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏中惩罚跳跃现象带来的监督信息不足问题。现有方法无法有效区分持续高惩罚与突增惩罚，导致模型训练不稳定。

核心思路：提出自适应回退在线蒸馏（AP-OPD），在检测到惩罚跳跃时，使用前一个块的平均惩罚作为参考，动态调整后续块的监督系数，以保持一致性。

技术框架：AP-OPD的整体架构包括惩罚检测模块和动态调整模块。首先，检测到惩罚跳跃后，提取前一个块的平均惩罚值，然后调整后续块的监督系数，使其加权平均惩罚与前一个块一致。

关键创新：AP-OPD的主要创新在于通过局部参考动态调整监督系数，避免了使用额外的强度常数，提升了模型对惩罚变化的敏感性。

关键设计：在设计中，监督系数的缩放因子由前一个块的平均惩罚决定，确保了调整的合理性。此外，损失函数的设计也考虑了惩罚与教师信心的关系，以优化模型训练过程。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，AP-OPD在数学推理任务上相较于传统在线蒸馏方法提升了约15%的准确率，在代码生成任务中也实现了显著的性能提升，验证了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、代码生成以及其他需要模型蒸馏的任务。通过提升模型在复杂任务中的表现，AP-OPD有望在实际应用中带来更高的效率和准确性，推动智能系统的发展。

📄 摘要（原文）

On-policy distillation (OPD) supervises student-generated responses using sampled-token student-teacher log-ratios. A positive log-ratio penalizes a token that the student assigns higher probability to than the teacher, but its current value does not distinguish sustained high penalties from abrupt increases along a response. We examine these local changes by comparing consecutive blocks of tokens within the same response. Our diagnostic identifies penalty jumps, abrupt increases in average penalty that persist on held-out tokens. Across these jumps, penalties rise while teacher confidence decreases. We call this pattern penalty-confidence tension. Boundaries into high-penalty blocks do not exhibit comparable confidence changes, showing that local changes provide information beyond the current penalty value. Motivated by this observation, we propose Adaptive Pullback OPD (AP-OPD). At each detected jump, AP-OPD uses the preceding block as a local reference and uniformly scales all supervision coefficients in the following block so that its weighted average penalty matches the preceding block's original mean. This reference determines the scaling factor without an additional strength constant. AP-OPD improves performance on both mathematical reasoning and code generation.