Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
作者: Kaixiang Zhao, Tianrun Yu, Shangzhe Li, Yuxiao Yang, Amanda Hughes, Weitong Zhang, Taylor W. Killian
分类: cs.LG, cs.AI
发布日期: 2026-10-14
备注: 21 pages. Code: https://github.com/kzhao5/CriticOPD
💡 一句话要点
提出CriticOPD以解决教师模型监督可靠性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 教师模型 学生模型 错误识别 数学推理 批评机制 监督学习
📋 核心要点
- 现有的在线蒸馏方法假设教师模型能够从学生的每个前缀中得出正确答案，但在错误回滚时这一假设失效，导致监督不可靠。
- 本文提出CriticOPD方法，通过教师对错误回滚的批评来恢复监督的可靠性，允许学生根据点评重写解决方案。
- 在实验中，CriticOPD在两个Qwen3学生模型和六个数学推理基准上表现优异，尤其在竞争性问题上取得了显著提升。
📝 摘要（中文）
在现有的在线蒸馏（OPD）方法中，学生模型依赖教师模型的逐步监督，假设教师能够从学生的每个前缀中得出正确答案。然而，这一假设在学生的错误回滚上并不成立，教师虽然能够识别错误，但会跟随学生的错误。为了解决这一问题，本文提出了CriticOPD方法，通过教师对错误回滚的批评来恢复监督的可靠性。教师对错误进行点评，学生根据点评重写其解决方案，最终输出中包含点评作为特权信息，教师对输出进行评分，而学生在训练中使用不包含点评的修订版本。在两个Qwen3学生模型和六个数学推理基准上，CriticOPD显著提升了OPD的性能，尤其在竞争性问题上表现出最大的改进。
🔬 方法详解
问题定义：本文要解决的问题是现有在线蒸馏（OPD）方法在学生模型错误回滚时，教师模型无法提供可靠监督的挑战。现有方法假设教师能够从学生的每个前缀中得出正确答案，但在实际应用中，教师会跟随学生的错误，导致监督失效。
核心思路：CriticOPD的核心思路是利用教师对错误回滚的批评来恢复监督的可靠性。教师在识别错误的同时，提供点评，学生根据这些点评重写其解决方案，从而提高最终输出的质量。
技术框架：CriticOPD的整体架构包括两个主要模块：教师模型和学生模型。教师模型负责对学生的输出进行点评，识别错误并提供反馈；学生模型则在教师的点评指导下进行修订，最终生成用于训练的输出。
关键创新：CriticOPD的主要创新在于引入了教师对错误的批评机制，这一机制使得学生能够在识别错误的基础上进行有效的修订，与传统的OPD方法相比，显著提升了监督的可靠性和输出质量。
关键设计：在技术细节上，CriticOPD设计了特权信息的使用机制，教师的点评作为额外信息被纳入评分过程，而学生在训练时使用的修订版本则不包含这些点评。此外，损失函数的设计也考虑了如何有效利用点评信息来优化学生模型的训练过程。
🖼️ 关键图片
📊 实验亮点
在实验中，CriticOPD在两个Qwen3学生模型上与传统OPD方法相比，取得了显著的性能提升，尤其在六个数学推理基准上，竞争性问题的表现提升幅度最大，展示了该方法在复杂任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、自动化推理系统和智能问答系统等。通过提高模型在错误情况下的学习能力，CriticOPD能够为这些领域提供更可靠的智能支持，提升用户体验和系统的整体性能。未来，该方法有望在更广泛的机器学习任务中得到应用，推动智能系统的进一步发展。
📄 摘要（原文）
On-policy distillation (OPD) trains a student model on its own rollouts with token-level supervision from a teacher, assuming that the teacher can reach a correct answer from any prefix the student writes. We call this property the recoverability of the teacher and show it fails on incorrect rollouts: the teacher follows student errors, although it recognizes them. We propose CriticOPD, using error recognition to restore recoverability. The teacher critiques an incorrect rollout, allowing the student to rewrite its solution following the error. The resulting output, including the critique as privileged information, is scored by the teacher while the student uses the revision without the critique for training. On two Qwen3 students and six mathematical reasoning benchmarks, CriticOPD improves OPD, with the largest gains on competition problems.