Divergence-Routed On-Policy Distillation for Language Models

📄 arXiv: 2610.19572v1 📥 PDF

作者: Tiantian Peng, Guannan Lv, Hongyang Li, Qiuhe Hong, Hang Cheng, Hongjian Dou, Xiangyu Wu, Yuyang Liu

分类: cs.AI

发布日期: 2026-10-14

💡 一句话要点

提出Divergence-Routed On-Policy Distillation以解决教师与学生模型间的知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 知识转移 Kullback-Leibler散度 Jensen-Shannon散度 深度学习 自然语言处理 模型优化

📋 核心要点

  1. 现有的在线蒸馏方法在教师与学生模型间的知识转移中存在信号弱的问题，特别是在低概率令牌的情况下。
  2. 本文提出Divergence-Routed On-Policy Distillation（DrOPD），通过在高JS散度位置添加FKL监督来增强知识转移效果。
  3. 实验结果显示，DrOPD在多个基准测试中表现优越，相较于标准OPD减少了37.9%的覆盖不足情况。

📝 摘要（中文）

在现有的在线蒸馏方法中，反向Kullback-Leibler（RKL）散度用于在学生生成的轨迹上转移知识，但对于教师支持的低概率令牌，RKL提供的纠正信号较弱。本文通过交叉采样发现，基于散度的路由比基于熵的路由更有效地识别出影响教师与学生性能差距的关键位置。基于此，提出了Divergence-Routed On-Policy Distillation（DrOPD），该方法在所有位置保留RKL监督，并在高Jensen-Shannon（JS）散度位置选择性地添加前向Kullback-Leibler（FKL）散度监督。实验表明，DrOPD在六个数学基准上优于标准OPD和基于熵的路由，并显著减少了严重的覆盖不足情况。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏中教师与学生模型之间知识转移的有效性问题，现有方法在处理低概率令牌时提供的纠正信号不足，导致性能差距。

核心思路：论文提出的DrOPD方法通过结合RKL和FKL散度监督，针对高JS散度位置进行有针对性的知识转移，以提高学生模型的学习效果。

技术框架：DrOPD的整体架构包括两个主要阶段：首先，使用RKL监督进行基础知识转移；其次，在识别到的高JS散度位置上，添加FKL监督以增强学习信号。

关键创新：最重要的创新在于引入了基于散度的路由机制，能够更有效地识别出影响教师与学生性能差距的关键位置，从而优化知识转移过程。

关键设计：在损失函数中，DrOPD同时使用RKL和FKL散度，确保在所有位置都有监督信号，并在特定位置进行强化学习，提升了模型的覆盖率和学习效率。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，DrOPD在六个数学基准测试中显著优于标准的在线蒸馏方法，尤其是在处理高JS散度位置时，减少了37.9%的覆盖不足情况，显示出FKL作为补充监督的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够有效提升模型在复杂任务中的表现。通过优化知识转移机制，未来可能推动更高效的模型训练和应用，增强人工智能系统的智能水平。

📄 摘要（原文）

On-policy distillation (OPD) transfers knowledge from a teacher model to a student along student-generated trajectories, typically by minimizing the reverse Kullback-Leibler (RKL) divergence. However, RKL can provide weak corrective signals for teacher-supported tokens to which the student assigns very low probability. This raises two questions: which positions are most consequential for the behavioral gap between the student and teacher, and what additional supervision is needed at these positions? Through cross-sampling, we find that divergence-based routing more effectively pinpoints positions contributing to the teacher-student performance gap than entropy-based routing. Further analysis reveals teacher-mode under-coverage at high Jensen-Shannon (JS) divergence positions, where standard OPD increases the large teacher-student probability gaps. Motivated by these findings, we propose Divergence-Routed On-Policy Distillation (DrOPD). DrOPD retains RKL supervision at all positions and selectively adds forward Kullback-Leibler (FKL) divergence supervision at positions with high JS divergence. Experiments across six math benchmarks show that DrOPD improves over standard OPD and entropy-based routing. DrOPD also reduces severe under-coverage cases by 37.9 percent relative to OPD, supporting targeted FKL as an effective complement to OPD.