When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation
作者: Di Huang, Hao Li, Yixin Chen, Fuhai Li
分类: cs.CL
发布日期: 2026-09-30
备注: 21 pages, 5 figures
💡 一句话要点
揭示点对点前向KL剪切对自蒸馏训练的负面影响
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策自蒸馏 前向KL剪切 模型训练 生成模型 自然语言处理
📋 核心要点
- 现有的政策自蒸馏方法在训练过程中可能受到风格化标记的干扰，导致训练信号不稳定。
- 论文提出了对前向KL目标进行点对点剪切的策略，以期稳定训练过程，但未深入探讨其实际效果。
- 实验结果显示，剪切策略导致学生模型在生成响应时出现更多重复现象，影响了模型的学习效果。
📝 摘要（中文）
在政策自蒸馏（OPSD）中，学生模型基于自身生成的响应进行训练，并利用特权信息进行反馈。研究发现，风格化标记可能在训练信号中占主导地位，而点对点剪切的前向KL目标可以稳定训练。然而，后续研究未直接考察剪切的影响。通过对比剪切与未剪切的训练过程，发现剪切会导致更多的重复现象，且这种现象源于剪切目标的设计。研究证明，剪切目标可能无法有效纠正学生模型的输出，反而使得剪切和未剪切的标记概率偏离教师模型。实验结果与分析一致，剪切模型在重复内容中对离开重复的概率较低，而未剪切模型则更接近教师模型的输出。
🔬 方法详解
问题定义：本论文旨在探讨点对点前向KL剪切在政策自蒸馏训练中的负面影响，现有方法未能有效解决风格化标记对训练信号的干扰问题。
核心思路：论文通过对比剪切与未剪切的训练过程，分析剪切目标如何影响学生模型的输出，提出剪切可能导致模型偏离教师模型的输出。
技术框架：研究采用实验对比的方法，分别进行剪切和未剪切的训练，观察模型在生成响应时的行为差异，主要模块包括数据生成、模型训练和输出分析。
关键创新：论文的创新在于揭示了剪切目标的设计缺陷，证明其可能导致学生模型在生成重复内容时的概率分布偏离教师模型，形成负面反馈。
关键设计：在实验中，设置了固定的剪切阈值，并对比了不同训练策略下的模型输出，关注损失函数的设计及其对模型学习的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用剪切策略的模型在生成响应时出现了显著更多的重复现象，且这种现象在训练结束时仍然存在。与未剪切模型相比，剪切模型在重复内容的生成中对离开重复的概率显著降低，影响了整体生成质量。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和生成模型等。通过优化自蒸馏训练过程，可以提升模型在生成任务中的表现，减少不必要的重复，提高生成内容的多样性和质量。未来，这一研究可能对提升智能对话系统的自然性和流畅性产生积极影响。
📄 摘要（原文）
On-policy self-distillation (OPSD) trains a student on its own generated responses using feedback from the same model conditioned on privileged information. On mathematical reasoning, the original OPSD study finds that stylistic tokens can dominate the training signal over math-related tokens, and that pointwise clipping of the forward KL objective stabilizes training. Pointwise clipping caps each vocabulary-wise forward KL term at a fixed threshold before summing over the vocabulary. Follow-up studies have adopted this clipping, but its effect on training has not been directly examined. In matched training runs differing only in whether clipping is applied, we observe that clipped runs produce substantially more repetitions that persist to the end of the response than their unclipped counterparts. We trace this failure to the clipped objective. We prove that the clipped objective can fail to correct the student toward the teacher and can instead push clipped and unclipped token probabilities away from its teacher. Our training runs agree with this analysis: inside repetitions, the clipped student places less probability than its teacher on leaving the repetition, and more on continuing it, whereas the unclipped runs stay close to their teachers.