Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
作者: Xiang Chen, Futao Su, Kong Wang, Jiayi Chen, TanLin Li
分类: cs.AI
发布日期: 2026-10-02
备注: 18 pages, 2 figures. Submitted to ICLR 2027
💡 一句话要点
提出成功参考的在线策略蒸馏方法以降低教师计算成本
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线策略蒸馏 教师监督 成功回合 失败回合选择 计算效率 机器学习 强化学习
📋 核心要点
- 现有的在线策略蒸馏方法需要为每个回合提供密集的教师监督，导致计算成本高昂。
- 本文提出的SR-OPD方法通过选择性地为成功和失败回合提供教师监督，从而降低教师计算需求。
- 实验结果表明，SR-OPD在保持推理性能的同时，教师输入令牌的使用量显著减少，提升了效率。
📝 摘要（中文）
在线策略蒸馏（OPD）结合了学生生成的回合与来自教师的密集令牌级监督，但为每个回合提供这种监督需要大量教师计算。本文提出成功参考在线策略蒸馏（SR-OPD），通过选择哪些提示和回合接受教师监督来降低这一成本。当学生为同一提示生成成功和失败的回合时，成功的回合可以作为选择失败回合的自然参考。SR-OPD因此专注于这些提示，并优先考虑那些隐藏状态轨迹与成功参考持续偏离的失败回合，同时考虑估计的教师输入成本。在三个教师-学生对和六个数学推理基准上，SR-OPD在单次传递设置中仅使用了香草OPD所需教师输入令牌的3.46%-5.02%，同时保持了可比的推理性能。
🔬 方法详解
问题定义：本文解决的问题是如何在在线策略蒸馏中有效减少教师计算成本。现有方法需要为每个回合提供密集的教师监督，导致计算资源的浪费。
核心思路：SR-OPD的核心思路是利用学生生成的成功回合作为参考，选择性地为失败回合提供教师监督。通过这种方式，能够有效减少教师输入的需求，同时保持推理性能。
技术框架：SR-OPD的整体架构包括两个主要模块：成功回合的选择和失败回合的监督。首先，系统识别成功回合，然后根据这些成功回合的隐藏状态轨迹来选择需要监督的失败回合。
关键创新：SR-OPD的最大创新在于将成功回合作为参考来指导失败回合的选择，这一设计与传统的全面监督方法形成鲜明对比，显著降低了教师输入的需求。
关键设计：在设计中，SR-OPD考虑了教师输入的估计成本，并优先选择那些与成功回合轨迹偏离较大的失败回合进行监督。损失函数和网络结构的具体细节在实验中进行了优化，以确保性能的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SR-OPD在单次传递设置中仅使用了香草OPD所需教师输入令牌的3.46%-5.02%，同时保持了与之相当的推理性能。这表明SR-OPD在教师输入预算有限的情况下，能够有效提升学习效率。
🎯 应用场景
该研究的潜在应用领域包括强化学习、自动化决策系统和智能代理等。通过降低教师计算成本，SR-OPD可以使得大规模训练更为高效，推动智能系统在复杂任务中的应用。未来，该方法可能会影响多种基于教师-学生框架的学习系统。
📄 摘要（原文）
On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher, but providing such supervision for every rollout requires substantial teacher computation. We introduce Success-Referenced On-Policy Distillation (SR-OPD), which reduces this cost by selecting which prompts and rollouts receive teacher supervision. When the student produces both successful and failed rollouts for the same prompt, a successful rollout can serve as a natural reference for selecting failed rollouts. SR-OPD therefore focuses on such prompts and prioritizes failed rollouts whose hidden-state trajectories show sustained divergence from a successful reference, while accounting for estimated teacher-input cost. Across three teacher-student pairs and six mathematical reasoning benchmarks, SR-OPD uses only 3.46-5.02% of the teacher-input tokens required by Vanilla OPD in the one-pass setting while maintaining comparable reasoning performance. Under a controlled setting matched to 5% of Vanilla OPD's teacher-input budget, further experiments support both key design choices: focusing supervision on prompts with both successful and failed rollouts, and using successful rollouts to guide failure selection. These results indicate that a student's own successful behavior can serve as a useful reference for allocating teacher supervision under a fixed teacher-input budget.