CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
作者: Naibin Gu, Qingyi Si, Chenxu Yang, Chuanyu Qin, Junhao Zhou, Peng Fu, Zheng Lin, Weiping Wang
分类: cs.LG
发布日期: 2026-09-09
备注: Work in progress
💡 一句话要点
提出CompassOPD以解决跨家族蒸馏效果下降问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 跨家族学习 模型蒸馏 对数似然 强化学习 知识转移 计算机视觉 自然语言处理
📋 核心要点
- 现有的在线蒸馏方法在跨模型家族设置下效果显著下降，尤其是在教师和学生模型不属于同一家族时。
- CompassOPD通过去除低能力教师家族与学生之间的偏移，专注于家族内的对数似然变化，从而提升蒸馏效果。
- 实验表明，CompassOPD在多个学生和教师家族的设置中，平均推理准确率提升了5.50个百分点，表现优于标准的跨家族在线蒸馏。
📝 摘要（中文）
在本研究中，作者提出了一种新的跨家族在线蒸馏方法CompassOPD，旨在解决现有在线蒸馏方法在跨模型家族设置下效果下降的问题。尽管在线蒸馏在同一家族模型中表现良好，但在跨家族情况下，即使经过tokenizer对齐，效果仍然不佳。为了解释这一现象，作者将跨家族在线蒸馏信号分解为两个部分：低能力教师家族参考与学生之间的偏移，以及从该参考到强教师的家族内对数似然变化。CompassOPD通过去除偏移并仅传递家族内变化，确保教师和学生的更新均在各自的模型家族内进行。实验结果表明，CompassOPD在多个学生和教师家族的实验中均优于标准的跨家族在线蒸馏，平均推理准确率提高了5.50个百分点。
🔬 方法详解
问题定义：本研究旨在解决跨家族在线蒸馏（OPD）在教师和学生模型不属于同一家族时效果显著下降的问题。现有方法在这种情况下，即使经过tokenizer对齐，效果仍然不佳，且更强的外部教师未能显著改善性能。
核心思路：作者提出的CompassOPD方法通过去除低能力教师家族与学生之间的偏移，专注于传递家族内的对数似然变化，从而确保教师和学生的更新均在各自的模型家族内进行。这种设计旨在消除偏移对更新方向的影响，使得教师能力的提升能够被有效捕捉。
技术框架：CompassOPD的整体架构包括两个主要模块：一是去除偏移的机制，二是冻结的学生参考用于锚定更新。通过这种方式，教师和学生的变化均在各自的模型家族内进行测量。
关键创新：CompassOPD的最大创新在于去除了教师家族与学生之间的偏移，仅传递家族内的对数似然变化。这与传统的OPD方法不同，后者将两者一起传递，导致偏移主导更新方向。
关键设计：在参数设置上，CompassOPD通过冻结学生参考来锚定更新，确保更新过程不受外部教师家族的影响。此外，对于MoE教师，作者直接从教师检查点构建参考，减少专家激活，避免了额外参考检查点的需求，同时仍保持了3.43个百分点的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CompassOPD在三个学生家族和多个教师家族的设置中，平均推理准确率提高了5.50个百分点。对于MoE教师，直接从教师检查点构建的参考方法相比于标准OPD，仍然保持了3.43个百分点的性能提升，展现出良好的效果。
🎯 应用场景
CompassOPD的研究成果在多个领域具有潜在应用价值，尤其是在需要进行模型蒸馏的场景中，如自然语言处理、计算机视觉和强化学习等。通过提升跨家族蒸馏的效果，能够更有效地利用不同模型家族的知识，推动智能系统的性能提升。未来，该方法可能会影响多种AI系统的设计与优化，促进更高效的知识转移与学习。
📄 摘要（原文）
On-policy distillation (OPD) provides dense token-level supervision on student-generated trajectories. Although OPD performs strongly when teacher and student belong to the same model family, we find that its effectiveness degrades in cross-family settings even after tokenizer alignment, with substantially stronger external teachers offering little additional improvement. To understand this disconnect, we decompose the cross-family OPD signal into two components: an offset between a low-capability teacher-family reference and the student, and the within-family log-likelihood shift from that reference to the strong teacher. Standard OPD transfers both components together, allowing the offset to dominate the update direction and obscure the changes associated with teacher capability improvements. We propose CompassOPD, which removes this offset and transfers the within-family shift, while a frozen student reference anchors updates to the student's initial policy. Thus, both teacher-side and student-side changes are measured within their respective model families. Experiments across three student families and multiple teacher families show that CompassOPD consistently outperforms standard cross-family OPD, improving average reasoning accuracy by up to 5.50 points. For an MoE teacher, we further construct the reference directly from the teacher checkpoint by reducing expert activation, eliminating the need for a separate reference checkpoint while retaining a 3.43-point gain over OPD.