Correcting or Continuing? What On-Policy Distillation Learns from Student Errors
作者: Shuo Yang, Zheyu Zhang, Mahito Sugiyama, Gjergji Kasneci
分类: cs.LG, cs.AI
发布日期: 2026-10-13
备注: 10 pages
💡 一句话要点
探讨在政策蒸馏中如何应对学生错误
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策蒸馏 学生错误 训练策略 机器学习 模型评估 教育技术
📋 核心要点
- 现有的政策蒸馏方法主要集中在学生能够解决的问题上，未能有效应对学生在特定问题上的错误。
- 本文提出了一种新的评估方式，探讨在学生失败问题上进行训练的有效性，以期改善学习效果。
- 实验结果显示，当训练集中于学生当前失败的问题时，准确性下降，而在不集中于失败时则有显著提升。
📝 摘要（中文）
在政策蒸馏（OPD）中，学生在冻结的教师指导下进行自我回放训练，以减轻离线监督的分布不匹配。本文探讨了当训练集中于学生当前失败的问题时，OPD是否能改善学生的表现。通过对Qwen-3和Phi-4模型的五种OPD机制进行评估，发现OPD在这一困难子集上并未提高准确性，反而在大多数机制中导致性能下降。相反，当训练不集中于失败时，准确性提高了4.6个百分点，表明失败与训练模式相关，而非系统性问题。这些发现表明，OPD在以正确的学生前缀为主的监督下有效，但在集中训练失败问题时可能会加剧现有错误。
🔬 方法详解
问题定义：本文旨在解决在政策蒸馏过程中，学生在特定问题上出现错误时的学习效果不佳的问题。现有方法往往忽视了学生在困难问题上的表现，导致训练效果受限。
核心思路：论文提出在学生当前失败的问题上进行训练，以评估这种方法对学生学习的影响。通过对比不同的训练策略，探讨OPD在不同情境下的有效性。
技术框架：研究采用统一的竞争数学协议，对Qwen-3和Phi-4模型进行评估。主要模块包括学生模型、教师模型和训练数据生成模块，形成一个闭环的训练流程。
关键创新：最重要的创新在于识别并分析学生在特定失败问题上的学习效果，提出了在失败问题上进行训练的有效性评估方法，与传统方法形成鲜明对比。
关键设计：实验中采用了五种OPD机制，设置了不同的训练配置，并使用KL散度作为损失函数，确保训练过程中的监督有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在集中训练失败问题的情况下，所有八种配置的准确性均出现下降，p值为0.0078。而在不集中于失败问题的训练中，准确性提高了4.6个百分点，表明训练策略对学习效果的显著影响。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自适应学习平台。通过优化学生在困难问题上的学习策略，可以提高学习效果，帮助学生更好地掌握复杂知识，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) trains a student on its own rollouts under a frozen teacher, mitigating the distribution mismatch of off-policy supervision. While prior work has primarily trained on problems a student can largely solve, we ask whether OPD can improve a student when training is restricted to problems it currently fails. We evaluate five representative OPD mechanisms with Qwen-3 and Phi-4 models under a unified competition-mathematics protocol. We find that OPD does not improve accuracy on this hard subset, with most mechanisms instead degrading performance despite continued decreases in training KL divergence. All eight configurations show a decline, and the two-sided sign test gives p=0.0078. In contrast, the same pipeline improves accuracy by 4.6 percentage points when training is not concentrated on failures, showing that the failure is conditional on the training regime rather than systematic. These findings suggest that OPD is effective when supervision is dominated by correct student prefixes, but can reinforce existing errors when training is concentrated on problems the student currently fails.