When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
作者: Siyan Zhao, Yonggan Fu, Jindong Jiang, Shih-Yang Liu, Song Bian, Byung-Kwan Lee, Sharath Turuvekere Sreenivas, Wenliang Dai, Hanrong Ye, Aditya Grover, Pavlo Molchanov
分类: cs.CL
发布日期: 2026-10-08
💡 一句话要点
提出Semi-OPD以优化教师-学生模型蒸馏过程
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 教师-学生模型 强化学习 模型优化 蒸馏训练
📋 核心要点
- 现有的在线蒸馏方法（OPD）在教师与学生模型对齐不佳时效果不理想，导致蒸馏信号减弱。
- 提出Semi-OPD方法，从初始学生生成的离线回合中进行蒸馏，能够在准确性和训练效率上超越传统的OPD。
- 在17对不同参数规模的教师-学生模型中，Semi-OPD在14个案例中表现更佳，准确性提升最高达13.6%。
📝 摘要（中文）
在这项研究中，我们探讨了在教师-学生模型蒸馏中，是否总是需要使用在线采样（OPD）。我们提出了一种简单的替代方案Semi-OPD，该方法从初始学生生成的离线回合中进行蒸馏，通常在准确性和训练效率上优于OPD。在17对教师-学生模型中，Semi-OPD在14个案例中表现更佳，准确性提升最高可达13.6%，训练速度提高11.4倍。我们发现，OPD和Semi-OPD的选择取决于教师与学生之间的对齐程度，只有在高重叠比的情况下，OPD才是有益的。我们的研究促使社区重新思考OPD的使用时机，并探索更强的OPD变体。
🔬 方法详解
问题定义：本研究旨在解决在线蒸馏（OPD）在教师与学生模型对齐不佳时的有效性问题。现有方法在这种情况下可能导致蒸馏信号减弱，影响模型性能。
核心思路：我们提出Semi-OPD方法，利用初始学生生成的离线回合进行蒸馏，避免了因上下文长度增加而导致的信号减弱，从而提高了蒸馏的稳定性和效率。
技术框架：该方法的整体架构包括生成离线回合、从中提取蒸馏信号以及优化学生模型三个主要阶段。首先，通过初始学生模型生成完整的回合数据，然后从中提取教师偏好的标记进行蒸馏。
关键创新：Semi-OPD作为一种高效的替代方案，能够在教师与学生模型对齐不佳时保持较高的蒸馏效果，与传统OPD方法相比，显著提高了训练速度和准确性。
关键设计：在Semi-OPD中，选择合适的上下文长度和输出标记重叠比是关键设计因素，这些参数直接影响蒸馏的有效性和模型的最终性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在17对教师-学生模型中，Semi-OPD在14个案例中超越了OPD，准确性提升最高达13.6%，训练速度提高11.4倍。这些结果表明，Semi-OPD在多种情况下均表现出更高的效率和准确性。
🎯 应用场景
该研究的潜在应用领域包括强化学习、自动驾驶、机器人控制等需要教师-学生模型协同工作的场景。通过优化蒸馏过程，Semi-OPD能够在资源受限的情况下提升模型性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) has become increasingly popular for transferring teacher capabilities to student models. In this work, we ask a critical research question: Is on-policy sampling always beneficial for distilling arbitrary teacher-student pairs? We show that a simple alternative, Semi-OPD, which distills from offline rollouts generated by the initial student, can often outperform OPD in both accuracy and training efficiency. Across 17 teacher-student pairs ranging from 1.5B to 235B parameters, Semi-OPD outperforms OPD in 14 cases, with up to +13.6% accuracy and 11.4x training speedup. We further find that the choice between OPD and Semi-OPD depends on the alignment between the initial teacher and student, quantified by an output-token overlap ratio: OPD is beneficial only when the two are highly aligned with high overlap ratios. Our deeper investigation suggests that effective distillation requires on-policyness w.r.t. both the student and the teacher. For misaligned pairs, student rollouts can become increasingly off-policy w.r.t. the teacher as context length grows, weakening the distillation signal. In contrast, Semi-OPD is often more stable, as it distills on shorter contexts while covering full trajectories and exposing the student to more teacher-preferred tokens. Beyond proposing Semi-OPD as an efficient alternative, our work motivates the community to rethink when to use OPD and to study stronger OPD variants with meaningful teacher-student pairs.