What Does Privileged Information Add to On-Policy Self-Distillation?
作者: XiuYu Zhang, Wei Chow, Junfeng Fang, Zhenkai Liang, Tat-Seng Chua
分类: cs.CL
发布日期: 2026-09-17
💡 一句话要点
提出基于特权信息的自蒸馏方法以提升语言模型性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 特权信息 语言模型 数学推理 模型优化 深度学习 知识转移
📋 核心要点
- 现有的自蒸馏方法在利用额外信息提升模型性能方面存在不确定性，特别是在如何有效利用特权信息上。
- 本文提出了一种新方法，通过构建AMPLE-Math数据集，系统性地评估特权信息对自蒸馏的贡献，旨在明确其实际价值。
- 实验结果显示，特权参考在某些情况下能显著提升模型性能，尤其是在使用精细解答时，且不同的回滚策略对结果影响显著。
📝 摘要（中文）
本文探讨了在政策自蒸馏（OPSD）中引入特权信息的价值。通过构建一个包含5319个数学问题的可重用数据集AMPLE-Math，作者比较了不同推理视角与无参考蒸馏的效果。研究发现，特权参考在某些情况下能为学生模型提供额外的学习信息，尤其是在处理精细解答时，尽管其贡献相对有限。实验结果表明，长时间的推理回滚在某些情况下可能导致性能下降，强调了训练学生模型的选择对结果的影响。
🔬 方法详解
问题定义：本文旨在探讨在政策自蒸馏中引入特权信息的实际贡献，现有方法在利用额外信息方面的效果尚不明确。
核心思路：通过构建包含多种推理视角的数学问题数据集，比较不同视角与无参考蒸馏的效果，以量化特权信息的增益。
技术框架：研究采用了AMPLE-Math数据集，包含5319个数学问题，设计了多种推理视角，并通过对比实验评估不同策略的效果。
关键创新：论文的创新在于系统性地评估特权信息对自蒸馏的影响，强调了特权参考在跨模式转移中的价值，而非单纯的解答信息。
关键设计：在实验中，采用了不同的回滚策略和损失函数设置，特别关注了短期与长期推理回滚对模型性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在使用特权参考的情况下，Qwen3-1.7B模型在思维启用评估中性能提升显著，尤其是在处理精细解答时，表现出额外的两个百分点的提升。这一发现强调了特权信息在自蒸馏中的重要性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、自动化推理系统和智能问答系统。通过优化自蒸馏过程，模型能够更有效地利用已有知识，提升其在复杂任务中的表现，未来可能推动更多智能应用的发展。
📄 摘要（原文）
On-policy self-distillation (OPSD) lets a language model learn from a frozen copy of itself that sees an answer or a worked solution. Giving the teacher this extra information seems to offer the student more to learn, but how much does it add beyond distillation itself? To isolate that contribution, we construct AMPLE-Math, a reusable suite of 5,319 mathematical problems with six reasoning views that share the same answer, and compare each view with matched reference-free distillation. With a thinking-enabled teacher supervising direct-response rollouts, reference-free distillation accounts for much of Qwen3-1.7B's improvement under thinking-enabled evaluation, both in domain and on external benchmarks. Evidence for an additional reference benefit is modest in Qwen, strongest for a polished solution, whereas complete traces add two percentage points in SmolLM3-3B at step 50. These benefits depend on the student being trained. At the same checkpoint, replacing short direct-response rollouts with long thinking-enabled rollouts turns gains into losses in both families while the problems, references, and evaluation stay fixed. Teacher profiles and matched loss interventions in Qwen further show that changing token-level supervision can leave student behavior largely unchanged. Together, these findings suggest that OPSD can improve access to existing reasoning capabilities through parameters shared by direct-response and thinking-enabled inference. The value of a privileged reference is what it adds to this cross-mode transfer, not how much of the solution it reveals.