What Does Privileged Information Add to On-Policy Self-Distillation?
作者: XiuYu Zhang, Wei Chow, Junfeng Fang, Xingyu Zhu, Zhenkai Liang, Tat-Seng Chua
分类: cs.CL
发布日期: 2026-09-17 (更新: 2026-09-18)
💡 一句话要点
提出OPSD方法以提升语言模型的自我蒸馏效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自我蒸馏 特权信息 语言模型 推理能力 数学问题 模型训练 教育技术
📋 核心要点
- 现有的自我蒸馏方法在利用教师模型的特权信息时，尚未明确其对学生模型学习的具体贡献。
- 论文提出了一种新的数据集和实验框架，通过对比不同推理视角，深入分析特权信息的作用。
- 实验结果显示，特权参考在某些情况下能显著提升模型性能，但其效果依赖于学生模型的训练方式。
📝 摘要（中文）
本文探讨了在策略自我蒸馏（OPSD）中引入特权信息的价值。通过构建AMPLE-Math数据集，包含5319个数学问题及六种推理视角，研究了教师模型在监督下对学生模型的影响。结果表明，参考无关的蒸馏方法在Qwen3-1.7B模型的性能提升中占据重要地位，而特权参考的附加价值主要体现在跨模式转移的能力上，而非直接揭示解决方案的程度。
🔬 方法详解
问题定义：本文旨在探讨在策略自我蒸馏中引入特权信息的实际贡献，现有方法未能清晰界定这一贡献的具体程度和影响。
核心思路：通过构建AMPLE-Math数据集，包含多种推理视角，比较不同信息源对模型学习的影响，旨在量化特权信息的附加价值。
技术框架：整体流程包括数据集构建、教师模型的训练与监督、学生模型的学习过程，以及对比实验设计，确保各个实验条件的一致性。
关键创新：论文的主要创新在于通过引入多视角的数学问题，系统性地评估特权信息对自我蒸馏的影响，揭示了其在跨模式转移中的重要性。
关键设计：在实验中，采用了不同的损失函数和训练策略，特别是对教师模型的推理能力进行了优化，以确保其在监督学生模型时的有效性。实验还探讨了短期与长期响应的替换对模型性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，参考无关的蒸馏方法在Qwen3-1.7B模型中提升了性能，而特权参考的附加价值在某些情况下可达2个百分点。特别是在SmolLM3-3B模型的第50步时，完整的推理轨迹显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化问题解决等。通过提升语言模型的推理能力，能够为学生提供更有效的学习支持，促进个性化教育的发展，未来可能在智能问答和知识推理等领域产生深远影响。
📄 摘要（原文）
On-policy self-distillation (OPSD) lets a language model learn from a frozen copy of itself that sees an answer or a worked solution. Giving the teacher this extra information seems to offer the student more to learn, but how much does it add beyond distillation itself? To isolate that contribution, we construct AMPLE-Math, a reusable suite of 5,319 mathematical problems with six reasoning views that share the same answer, and compare each view with matched reference-free distillation. With a thinking-enabled teacher supervising direct-response rollouts, reference-free distillation accounts for much of Qwen3-1.7B's improvement under thinking-enabled evaluation, both in domain and on external benchmarks. Evidence for an additional reference benefit is modest in Qwen, strongest for a polished solution, whereas complete traces add two percentage points in SmolLM3-3B at step 50. These benefits depend on the student being trained. At the same checkpoint, replacing short direct-response rollouts with long thinking-enabled rollouts turns gains into losses in both families while the problems, references, and evaluation stay fixed. Teacher profiles and matched loss interventions in Qwen further show that changing token-level supervision can leave student behavior largely unchanged. Together, these findings suggest that OPSD can improve access to existing reasoning capabilities through parameters shared by direct-response and thinking-enabled inference. The value of a privileged reference is what it adds to this cross-mode transfer, not how much of the solution it reveals.