What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation
作者: Kanghui Tian, Siyuan Liu, Tianxiang Jiang, Shuai Dong, Yizhuo Li, Tian Ding, Yuan Guo, Songze Li, Haowen Hou, Congcong Wang, Yi Wang
分类: cs.LG, cs.AI
发布日期: 2026-09-22
💡 一句话要点
提出特权上下文设计以优化自我蒸馏效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自我蒸馏 特权上下文 模型优化 数学竞赛 上下文抽象 深度学习 人工智能
📋 核心要点
- 现有的自我蒸馏方法通常依赖于完整的参考解决方案，未能有效利用特权信息。
- 论文提出通过不同的上下文抽象方式来优化自我蒸馏过程，强调适应学生能力的特权上下文设计。
- 实验结果显示，在数学竞赛任务中，最佳中间上下文在4B和8B模型中分别提高了1.4和1.6分，且提示令牌存储量显著减少。
📝 摘要（中文）
本研究探讨了在在线自我蒸馏（OPSD）中，特权信息对教师模型的影响。通过比较不同的上下文抽象方式，发现最佳的中间上下文在数学竞赛任务中显著提高了模型性能，同时减少了提示令牌的存储量。结果表明，自我教师应关注学生能够有效利用的抽象层次，而非所有可能的信息。
🔬 方法详解
问题定义：本研究旨在解决在在线自我蒸馏中，特权信息未能有效提升教师模型性能的问题。现有方法通常依赖于完整的参考解决方案，导致信息冗余和效率低下。
核心思路：论文提出通过设计不同的上下文抽象方式，来优化自我蒸馏过程。研究表明，自我教师应关注学生能够有效利用的抽象层次，而非所有可能的信息。
技术框架：整体架构包括一个固定的基础模型和多个上下文抽象模块。通过对比不同的上下文（如命名策略、方法无关框架、问题类别等），评估其对学生模型的影响。
关键创新：最重要的创新点在于提出了特权上下文的设计理念，强调了上下文抽象的选择对学生模型性能的影响，与传统方法的全信息传递形成鲜明对比。
关键设计：在实验中，采用了不同的上下文抽象方式，并对其进行离线编译。关键参数设置包括上下文的选择和提示令牌的存储策略，以优化模型的学习效率和性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在数学竞赛任务中，最佳中间上下文在4B和8B模型中分别提高了1.4和1.6分，同时存储的提示令牌数量减少了一个数量级。与传统的完整解决方案相比，这种方法在性能上保持了竞争力，且在多个随机种子下均表现出积极的均值提升。
🎯 应用场景
该研究的潜在应用领域包括教育智能辅导系统、自动化问题解决平台以及任何需要自我学习和自我优化的人工智能系统。通过优化自我蒸馏过程，可以提升模型在特定任务上的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
More privileged information does not always make a better teacher. We study this tension in on-policy self-distillation (OPSD), where a frozen copy of the base model scores the student's own rollouts under privileged context, conventionally a complete reference solution that bundles the final answer with one particular reasoning path. Holding the student view and training fixed within each scale, we compare that default against three abstractions compiled offline, a named strategy, a method-independent framing, and a problem category, and against an answer-only control that keeps the destination but removes the path. In the primary runs on competition mathematics, the best intermediate contexts improve the in-domain peak mean over the full solution by 1.4 points at 4B and 1.6 at 8B, while storing an order of magnitude fewer hint tokens. Comparisons across three seeds also show positive mean gains for the framing and category contexts at both scales. Answer-only conditioning remains competitive in the primary runs, within 0.2 points of the full solution at these scales. The preferred context varies with student scale and task. Initial teacher-student KL does not order downstream performance. What a self-teacher should see is therefore not everything it could, but the level of abstraction its student can still act on.