Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
作者: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang
分类: cs.CL, cs.AI
发布日期: 2026-10-06
💡 一句话要点
提出跨标记器的在政策蒸馏方法以提高监督可靠性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在政策蒸馏 监督学习 词汇对齐 模型蒸馏 自然语言处理 代码生成 数学推理
📋 核心要点
- 现有的在政策蒸馏方法在不同标记器之间的对齐覆盖不足，导致学习效果不佳。
- 论文提出通过限制反向KL散度到共享词汇的子集来提高监督的可靠性，从而改善学习效果。
- 实验结果显示，使用严格损失的检查点在准确性上优于现有的跨标记器基线，且在特定条件下实现了更好的性能。
📝 摘要（中文）
在这篇论文中，作者探讨了在政策蒸馏（OPD）中，如何通过扩展对齐覆盖来改善学习效果。研究表明，尽管存在显著的词汇不匹配，严格的1:1对齐组已经覆盖了大部分学生生成的标记。通过限制反向KL散度到学生选择的共享词汇的前16个子集，能够实现与全共享词汇OPD相当的准确性。此外，尽管在不匹配组中添加均方误差监督可以提供完整的监督覆盖，但却降低了准确性。研究结果促使我们从最大化对齐覆盖转向优先考虑监督可靠性，强调在严格位置的紧凑监督可能比引入弱对齐或冲突训练信号的更广覆盖更有效。
🔬 方法详解
问题定义：本论文旨在解决在政策蒸馏（OPD）中，不同标记器之间的对齐覆盖不足的问题。现有方法在处理词汇不匹配时，往往导致学习效果不佳，无法充分利用教师反馈。
核心思路：论文的核心思路是通过限制反向KL散度到学生选择的共享词汇的前16个子集，来提高监督的可靠性。这种设计旨在减少弱对齐或冲突信号对学习的负面影响。
技术框架：整体架构包括教师-学生对齐、选择共享词汇、计算损失函数等主要模块。首先，学生生成响应并与教师反馈进行对比，然后选择共享词汇的子集进行训练，最后计算损失并更新模型。
关键创新：最重要的技术创新点在于提出了从最大化对齐覆盖转向优先考虑监督可靠性的方法。与现有方法相比，该方法在处理词汇不匹配时表现出更高的准确性和有效性。
关键设计：在损失函数设计上，论文采用了限制反向KL散度的策略，并在不匹配组中添加均方误差监督。网络结构上，学生模型的选择和训练过程经过精心设计，以确保在严格位置的监督更为紧凑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，限制反向KL散度到共享词汇的前16个子集，能够实现与全共享词汇OPD相当的准确性，且在多个跨标记器基线中表现优越。这一方法在特定条件下显著提升了模型的学习效果，展示了新的研究方向。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型蒸馏、代码生成和数学推理等任务。通过提高监督的可靠性，能够在多种场景中提升模型的学习效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-Policy Distillation (OPD) trains a student on its own generations using teacher feedback. With different tokenizers, comparing teacher and student predictions requires alignment at both sequence and vocabulary levels. In this paper, we examine whether expanding this alignment coverage improves learning. Across three heterogeneous teacher--student pairs on mathematical reasoning and code generation, strict 1:1 groups already cover most student-generated tokens despite substantial vocabulary mismatch. On responses sampled from the students before distillation, the shared vocabulary retains nearly all teacher and student probability mass at strictly aligned positions on average. Restricting reverse KL to a student-selected top-16 subset of the shared vocabulary at each strict position achieves accuracy comparable to full shared-vocabulary OPD, outperforming the evaluated cross-tokenizer baselines. Adding mean squared error supervision on span log-probabilities in mismatch groups gives complete supervision coverage, yet reduces accuracy. At checkpoints from training with only the strict loss, the span gradients show weak or negative directional agreement with the strict gradients and grow in magnitude relative to them. These diagnostics may help explain the accuracy drop from adding span supervision. Our findings motivate a shift from maximizing alignment coverage to prioritizing supervision reliability: compact supervision at strict positions can be more effective than broader coverage that introduces weakly aligned or conflicting training signals.