UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
作者: Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Josiah Hester, Jindong Wang, Srijan Kumar
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-05-07
备注: 22 pages, 12 figures
💡 一句话要点
提出UniSD框架以解决自蒸馏在大语言模型中的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自蒸馏 大型语言模型 模型适应 多教师机制 对比学习 特征匹配 训练稳定性
📋 核心要点
- 现有自蒸馏方法在自回归LLMs中面临监督可靠性和训练稳定性等挑战，导致效果不理想。
- UniSD框架通过整合多教师一致性、EMA教师稳定化等机制，系统性地提升自蒸馏的有效性和稳定性。
- 实验结果显示，UniSDfull在多个基准上表现优异，较基础模型和最强基线分别提升5.4分和2.8分。
📝 摘要（中文）
自蒸馏（SD）为适应大型语言模型（LLMs）提供了有前景的路径，但在自回归LLMs中仍面临挑战。现有方法主要关注孤立的设计选择，缺乏对其有效性和相互作用的系统研究。本文提出了UniSD，一个统一的框架，系统性地研究自蒸馏，集成了多教师一致性、EMA教师稳定化、令牌级对比学习、特征匹配和发散剪切等机制。通过在六个基准和三个模型家族的六个模型上进行实验，UniSD揭示了自蒸馏在何种情况下优于静态模仿，并构建了UniSDfull，综合各组件实现了最佳性能，较基础模型提升5.4分，较最强基线提升2.8分。
🔬 方法详解
问题定义：本文旨在解决自蒸馏在自回归大型语言模型中的有效性和稳定性问题。现有方法在监督可靠性和任务依赖性方面存在不足，导致自生成轨迹的质量不稳定。
核心思路：UniSD框架通过整合多种机制，提升自蒸馏的监督可靠性和训练稳定性，从而实现更有效的模型适应。该设计旨在系统性地研究各组件的作用及其相互影响。
技术框架：UniSD框架包含多个模块，包括多教师一致性、EMA教师稳定化、令牌级对比学习、特征匹配和发散剪切。通过这些模块的协同作用，提升自蒸馏的整体效果。
关键创新：UniSD的主要创新在于其统一的框架设计，系统性地整合了多种机制，解决了现有方法中孤立设计选择的不足，明确了各组件的作用和相互关系。
关键设计：在设计中，采用了多教师一致性机制以增强监督信号的可靠性，使用EMA教师稳定化来减少训练过程中的波动，同时引入令牌级对比学习和特征匹配来提升模型的表示能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UniSDfull在六个基准测试中表现优异，较基础模型提升了5.4分，较最强基线提升了2.8分，验证了自蒸馏作为一种有效的模型适应方法的实用性和可控性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提升自蒸馏的有效性，UniSD为大语言模型的高效适应提供了一种可行的解决方案，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Self-distillation (SD) offers a promising path for adapting large language models (LLMs) without relying on stronger external teachers. However, SD in autoregressive LLMs remains challenging because self-generated trajectories are free-form, correctness is task-dependent, and plausible rationales can still provide unstable or unreliable supervision. Existing methods mainly examine isolated design choices, leaving their effectiveness, roles, and interactions unclear. In this paper, we propose UniSD, a unified framework to systematically study self-distillation. UniSD integrates complementary mechanisms that address supervision reliability, representation alignment, and training stability, including multi-teacher agreement, EMA teacher stabilization, token-level contrastive learning, feature matching, and divergence clipping. Across six benchmarks and six models from three model families, UniSD reveals when self-distillation improves over static imitation, which components drive the gains, and how these components interact across tasks. Guided by these insights, we construct UniSDfull, an integrated pipeline that combines complementary components and achieves the strongest overall performance, improving over the base model by +5.4 points and the strongest baseline by +2.8 points. Extensive evaluation highlights self-distillation as a practical and steerable approach for efficient LLM adaptation without stronger external teachers.