Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation
作者: Jiacheng Liu, Jingwei Song, Qituan Zhang, Siheng Chen, Linfeng Zhang
分类: cs.CL, cs.AI
发布日期: 2026-09-28
备注: 43 pages, 7 figures, 20 tables
💡 一句话要点
提出事件集完成蒸馏以解决跨标记器知识转移问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 事件集完成 蒸馏训练 跨标记器 知识转移 语言模型 概率对齐 模型蒸馏
📋 核心要点
- 现有的跨标记器蒸馏方法在处理部分生成的标记时，无法有效分配概率，导致知识转移效率低下。
- 本文提出事件集完成蒸馏（ESCD），通过聚合与前缀相关的教师事件，监督学生的字节兼容完成概率。
- 实验结果显示，ESCD在多个模型和标记器上均取得了显著提升，尤其在大规模蒸馏任务中表现优异。
📝 摘要（中文）
在政策蒸馏（OPD）中，通过教师对学生生成轨迹的监督来转移语言模型之间的知识。由于不同的标记器，单个教师标记可能需要多个学生标记来生成，导致进入但尚未完成的中间状态。现有的跨标记器方法通过对齐标记或文本片段来构建可比较的预测目标。本文研究了部分生成后的补充问题：一旦学生生成了教师标记的前缀，多个后续标记可能完成相同的剩余字节，但教师仅指定所需的完成，而未说明如何在这些有效的延续之间分配概率。我们提出了事件集完成蒸馏（ESCD），它通过完成集监督补充了跨标记器的概率对齐。实验表明，该方法在数学、代码和科学推理等领域的一致提升，支持事件输入和事件完成作为跨标记器知识转移的互补监督目标。
🔬 方法详解
问题定义：本文旨在解决在跨标记器知识转移中，教师标记与学生标记之间的概率分配问题。现有方法在部分生成后无法有效处理多个可能的后续标记，导致知识转移的效率和准确性受到影响。
核心思路：提出事件集完成蒸馏（ESCD），通过聚合教师的相关事件，监督学生生成的字节兼容的完成概率，从而避免在个别标记之间进行概率分配。
技术框架：ESCD的整体架构包括教师事件的聚合、学生生成轨迹的重用和对完成集的监督。该方法不需要额外的回滚或学生词汇的修改，简化了训练过程。
关键创新：ESCD的核心创新在于引入完成集监督，提供了一种新的方式来处理跨标记器的知识转移问题，与传统的概率对齐方法形成鲜明对比。
关键设计：在设计中，ESCD使用了与教师事件相关的损失函数，确保学生的生成与教师的期望输出保持一致，同时优化了模型的训练效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ESCD在数学、代码和科学推理任务中均取得了显著提升，尤其在大规模模型蒸馏中，从1T教师模型到35B学生模型的转移表现出色，覆盖了99%以上的兼容教师质量。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、代码生成和科学计算等。通过提高跨标记器知识转移的效率，ESCD可以在多种语言模型之间实现更高效的知识共享，推动智能系统的进一步发展。
📄 摘要（原文）
On-policy distillation (OPD) transfers knowledge between language models through teacher supervision on student-generated trajectories. With different tokenizers, a single teacher token may require multiple student tokens to generate, creating intermediate states where the event is entered but not yet completed. Existing cross-tokenizer methods align tokens or text spans to construct comparable prediction targets. We study a complementary problem after partial generation: once the student produces a prefix of a teacher token, multiple next tokens may complete the same remaining bytes, but the teacher only specifies the required completion rather than how probability should be divided among these valid continuations. We introduce Event-Set Completion Distillation (ESCD), which complements cross-tokenizer probability alignment with completion-set supervision. ESCD aggregates prefix-related teacher events and supervises the total probability of byte-compatible one-step student completions, avoiding tokenizer-dependent probability splits among individual tokens. The method reuses student trajectories and predictions, requiring neither additional rollouts nor changes to the student vocabulary. Experiments demonstrate consistent gains in mathematics, code, and scientific reasoning across model families and tokenizers, extending to large-scale MoE distillation from a 1T teacher to a 35B student. Local analyses show that retaining completion sets better matches the reference supervision, while one-step completion covers over 99% of observed compatible teacher mass after partial event entry in the studied tokenizer pairs. These findings support event entry and event completion as complementary supervision targets for cross-tokenizer knowledge transfer. Code will be released on GitHub.