When Perplexity Lies: Generation-Focused Distillation of Hybrid Sequence Models

📄 arXiv: 2603.26556 📥 PDF

作者: Juan Gabriel Kostelec, Qinghai Guo

分类: cs.CL, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出GenDistill以优化混合序列模型的生成性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 蒸馏训练 生成模型 Transformer 混合模型 自回归生成 模型优化 多阶段管道

📋 核心要点

  1. 现有的蒸馏方法在评估模型生成质量时，往往依赖于对数似然评分，忽视了自回归生成的重要性。
  2. 论文提出了GenDistill，一个多阶段的蒸馏管道，旨在优化预训练Transformer的生成性能，并设计了Hybrid-KDA作为学生模型。
  3. 实验结果表明，最佳蒸馏方案在知识基准上保留了86-90%的教师准确性，同时将KV缓存内存减少了75%，并在128K-token上下文中提高了2-4倍的首次令牌生成速度。

📝 摘要（中文）

将预训练的Transformer模型通过蒸馏转换为更高效的混合模型是一种降低推理成本的有效方法。然而，要在蒸馏模型中实现高质量的生成，需要仔细设计学生架构和蒸馏过程。许多先前的蒸馏研究通过对候选答案进行对数似然评分来评估下游多选基准，而不是要求自回归生成，这可能掩盖模型质量的重要差异。我们提出了GenDistill，一个多阶段管道，用于将预训练的Transformer蒸馏为高效的混合Kimi Delta Attention学生模型。通过系统性地消融六个设计轴，我们发现基于对数似然的评估常常低估教师与学生之间的差距，并可能在某些情况下逆转设计选择的排名。

🔬 方法详解

问题定义：本论文旨在解决蒸馏模型在生成任务中表现不佳的问题，现有方法在对数似然评分下可能掩盖模型之间的真实差距。

核心思路：提出GenDistill，通过多阶段管道设计，优化蒸馏过程，确保生成质量与教师模型接近，同时提高推理效率。

技术框架：整体架构包括六个设计轴的系统性消融实验，涵盖训练目标、损失掩蔽、训练时长、数据集选择、参数冻结和架构选择等模块。

关键创新：最重要的创新在于通过对比生成与对数似然评估，揭示了蒸馏模型在生成任务中的真实表现，强调了设计选择的重要性。

关键设计：在实验中，数据集选择、仅完成掩蔽和在后训练阶段冻结注意力层对生成质量影响最大，最佳蒸馏方案使用Hybrid-KDA模型作为学生。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳蒸馏方案在知识基准上保留了86-90%的教师准确性，同时将KV缓存内存减少了75%，首次令牌生成速度提高了2-4倍。这些结果表明，GenDistill在生成任务中显著提升了模型的效率和质量。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和智能问答等。通过优化蒸馏过程，可以在保持模型性能的同时显著降低计算资源消耗，提升用户体验。未来，随着模型规模的不断扩大，该方法有望在更多实际场景中得到应用。

📄 摘要（原文）

Converting a pretrained Transformer into a more efficient hybrid model through distillation offers a promising approach to reducing inference costs. However, achieving high-quality generation in distilled models requires careful joint design of both the student architecture and the distillation process. Many prior distillation works evaluate downstream multiple-choice benchmarks by ranking candidate answers with log-likelihood rather than requiring autoregressive generation, which can obscure important differences in model quality. For example, on overlapping benchmarks, we show that a 7B distilled model that nearly matches its teacher to within 0.2 pp under log-likelihood scoring falls behind by 20.8 pp when it must generate answers autoregressively.We investigate this phenomenon with GenDistill, a multi-stage pipeline we designed for distilling a pretrained Transformer into an efficient Hybrid Kimi Delta Attention (Hybrid-KDA) student. Using it as a controlled testbed on Qwen3-0.6B, we systematically ablate six design axes (training objective, loss masking, training duration, dataset selection, parameter freezing, and architecture choice) and evaluate every choice under both log-likelihood and generation-based protocols. We find that log-likelihood-based evaluation consistently underestimates the gap between teacher and student, and can in some cases reverse the ranking of design choices, so conclusions drawn from perplexity-only evaluation may be misleading. Among the factors we study, dataset selection, completion-only masking, and freezing attention layers during post-training have the largest impact on generation quality.Our best distillation recipe, using a Hybrid-KDA model as the student, retains 86-90% of teacher accuracy on knowledge benchmarks while reducing KV cache memory by up to 75% and improving time-to-first-token by 2-4x at 128K-token contexts.