On-Policy Distillation with Negative-Policy Rollouts
作者: Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo
分类: cs.LG
发布日期: 2026-10-06
备注: 25 pages, 7 figures, 24 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出负策略蒸馏以增强在线策略蒸馏的学习信号
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线策略蒸馏 负策略 模型蒸馏 深度学习 强化学习 学习信号 生成模型
📋 核心要点
- 现有的在线策略蒸馏方法在教师与学生模型之间的分布重叠有限时，正向指导信号不足，影响学习效果。
- 本文提出负策略在线蒸馏（NP-OPD），通过引入表现较差的负策略作为负参考，增强学生模型的学习信号。
- 实验结果显示，NP-OPD在多种模型规模和推理任务中均显著提升了性能，验证了负策略回滚的有效性。
📝 摘要（中文）
在线策略蒸馏（OPD）作为一种后训练方法，允许学生模型从更强的教师模型中获得标记级监督。然而，当教师与学生的分布重叠有限时，正向指导可能不足以提供有效的学习信号。本文提出了负策略在线蒸馏（NP-OPD），通过引入表现较差的负策略进行回滚，作为学生的负参考，从而补充教师监督。NP-OPD在回滚阶段引入负策略，持续提供负策略偏好的标记，使学生在训练过程中始终暴露于教师监督之下。实验结果表明，NP-OPD在不同模型规模、生成模式和推理领域中均显著提升了OPD的效果，并有效抑制了负策略偏好的标记，推动学生远离负策略。
🔬 方法详解
问题定义：本文旨在解决在线策略蒸馏（OPD）中教师与学生模型分布重叠有限导致的学习信号不足问题。现有方法主要依赖于教师的正向指导，未能有效利用负向信息。
核心思路：提出负策略在线蒸馏（NP-OPD），通过引入一个表现较差的负策略作为负参考，补充教师的正向监督。该方法在回滚阶段引入负策略，使学生模型在训练过程中能够接触到负向信号，从而增强学习效果。
技术框架：NP-OPD的整体架构包括教师模型、学生模型和负策略模型。训练过程中，学生模型在教师监督下进行学习，同时接收来自负策略的回滚信息，以此形成双重监督信号。
关键创新：NP-OPD的核心创新在于引入负策略回滚，提供明确的负向信号。这一设计使得学生模型不仅依赖于教师的正向指导，还能够有效抑制负策略偏好的标记，从而提升学习效果。
关键设计：在实现NP-OPD时，关键参数包括负策略的选择和回滚频率。此外，损失函数的设计也考虑了如何平衡正向和负向信号，以确保学生模型的有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NP-OPD在多个基线模型上均实现了显著提升，尤其在某些推理任务中，性能提升幅度达到10%以上。这一结果验证了负策略回滚在增强学习信号方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、图像生成和强化学习等多个方向。通过引入负策略，NP-OPD能够在多种任务中提升模型的学习效率和生成质量，具有广泛的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) has been widely studied as a post-training method in which a student model obtains token-level supervision from a stronger teacher on its own rollouts. Recent studies have improved OPD through alternative distillation reward formulations and teacher configurations, while the objective of distillation remains centered on mimicking the teacher. However, when a stronger teacher has limited distributional overlap with the student, such positive guidance can provide insufficient learning signals. In this work, we introduce Negative-Policy OPD (NP-OPD), which complements teacher supervision with rollouts from a lower-performing, lower-capability negative policy that serves as a negative reference for the student. Rather than modifying the distillation reward formulation, NP-OPD introduces the negative policy at the rollout stage, continuously supplying tokens preferred by the negative policy over the teacher so that they remain exposed to teacher supervision throughout training. This provides an explicit negative signal through negative-policy rollouts while preserving the positive teacher supervision used in OPD. Through extensive experiments, we show that NP-OPD improves OPD across model scales, generation modes, reasoning domains, and different OPD variants. Furthermore, our analyses show that NP-OPD effectively suppresses tokens preferred by the negative policy over the teacher and moves the student away from the negative policy. These results support our design of introducing negative signals through negative-policy rollouts and provide new insight into the role of the rollout policy in OPD. Code will be available at https://github.com/naver-ai/np-opd.