CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation

📄 arXiv: 2610.13257v1 📥 PDF

作者: Jingru Yang, Jinhang Wu, Minjing Shi, Shengfeng He, Xuyan Li, Man Tan, Biye Li

分类: cs.LG, cs.CL

发布日期: 2026-10-09

备注: 22 pages, 8 figures, 11 tables

💡 一句话要点

提出CAST以解决跨标记器蒸馏中的信用对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 跨标记器蒸馏 信用对齐 块级优势分配 选择性锚定 知识迁移

📋 核心要点

  1. 现有的跨标记器在线蒸馏方法在教师和学生序列对齐时面临信用对齐的问题，导致信号分配不均。
  2. CAST通过块级优势的重新分配和选择性锚定，提出了一种新的信用分配机制，解决了教师信号不一致的问题。
  3. 在六个数学、科学和代码基准测试中，CAST在跨标记器转移中平均提升了2.45和1.32分，显示出其有效性。

📝 摘要（中文）

跨标记器的在线蒸馏（OPD）需要在比较教师和学生序列的分数之前进行对齐。虽然解码文本对齐提供了块级别的对应关系，但未解决信用对齐问题。我们提出了CAST（基于块的信用分配与选择性标记锚定），这是一个处理这两个问题的框架。对于对齐的块，CAST通过预测不确定性和局部教师信号平滑性重新分配每个块的优势，强调在局部一致的教师反馈支持下的学习机会，同时保持块的总优势。对于未对齐的位置，CAST通过KL惩罚选择性地将学生锚定到其初始策略，从而限制在缺乏教师监督时的漂移。实验结果显示，CAST在多个基准测试中显著提升了性能。

🔬 方法详解

问题定义：论文要解决的具体问题是教师和学生序列在跨标记器在线蒸馏中的信用对齐问题。现有方法在块级信号分配时，未能有效处理未对齐标记的情况，导致学习效率低下。

核心思路：CAST的核心思路是通过块级优势的重新分配和选择性锚定，确保在教师信号不一致的情况下，学生仍能有效学习。通过引入预测不确定性和局部教师信号平滑性，CAST优化了信用分配过程。

技术框架：CAST的整体架构包括两个主要模块：对齐块的优势重新分配和未对齐位置的选择性锚定。首先，针对对齐块，CAST计算每个块的优势并将其分配到学生标记上；其次，对于未对齐位置，CAST通过KL惩罚限制学生策略的漂移。

关键创新：CAST的主要创新在于将信用分配与块构建分离，使其能够适用于不同类型的块定义（如标点符号定义或固定长度块），并有效解决了教师信号不一致的问题。

关键设计：CAST的设计中，关键参数包括块的优势计算方式、KL惩罚的权重设置等。此外，损失函数的设计确保了在对齐和未对齐情况下的学习稳定性。整体网络结构则支持灵活的块处理和信号分配。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

CAST在六个基准测试中表现出色，跨标记器转移从Qwen3-8B到Mistral-7B和Llama-3.1-8B的平均提升分别为2.45和1.32分，而共享标记器转移到Qwen3-1.7B的提升为2.10分，显示出其在实际应用中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和代码生成等任务，尤其是在需要跨模型迁移学习的场景中。通过提高不同标记器之间的知识转移效率，CAST有望在多模态学习和大规模模型训练中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Cross-tokenizer on-policy distillation (OPD) requires aligning teacher and student sequences before their scores can be compared. Decoded-text alignment provides such correspondence at the chunk level, but leaves a distinct problem unresolved: credit alignment. A chunk-level signal specifies how much a span should change, but not how that signal should be distributed across student tokens, while tokens without teacher correspondence remain unconstrained. We propose CAST (Chunk-aware credit Assignment with Selective Token Anchoring), a shift-or-stay framework that addresses both issues. For aligned chunks, CAST redistributes each chunk's advantage across student tokens using predictive uncertainty and local teacher-signal smoothness, emphasizing learning opportunities supported by locally consistent teacher feedback while preserving the chunk's total advantage. The resulting weights exactly solve a KL-regularized credit-allocation problem. For unaligned positions, CAST selectively anchors the student to its initial policy through a KL penalty, limiting drift where teacher supervision is unavailable. Because credit assignment is separated from chunk construction, CAST also applies to punctuation-defined or fixed-length chunks under shared tokenization. Across six mathematics, science, and code benchmarks, CAST improves the average over the strongest evaluated baseline by $2.45$ and $1.32$ points for cross-tokenizer transfer from Qwen3-8B to Mistral-7B and Llama-3.1-8B, respectively, and by $2.10$ points for shared-tokenizer transfer to Qwen3-1.7B.