Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions
作者: Luyang Fang, Xiaowei Yu, Jiazhang Cai, Yongkai Chen, Shushan Wu, Zhengliang Liu, Zhenyuan Yang, Haoran Lu, Xilin Gong, Yufang Liu, Terry Ma, Wei Ruan, Ali Abbasi, Jing Zhang, Tao Wang, Ehsan Latif, Weihang You, Hanqi Jiang, Wei Liu, Wei Zhang, Soheil Kolouri, Xiaoming Zhai, Dajiang Zhu, Wenxuan Zhong, Tianming Liu, Ping Ma
分类: cs.CL, cs.LG, stat.ML
发布日期: 2025-04-20 (更新: 2026-01-03)
💡 一句话要点
综述：知识蒸馏与数据集蒸馏协同压缩大语言模型，应对算力与数据挑战。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 数据集蒸馏 大语言模型 模型压缩 模型优化 深度学习 人工智能 迁移学习
📋 核心要点
- 现有大语言模型面临着计算和数据需求不断增长的挑战，需要高效的模型压缩策略。
- 该综述探讨了知识蒸馏（KD）和数据集蒸馏（DD）两种互补方法，旨在压缩模型并保留其能力。
- 通过整合KD和DD，可以产生更有效和可扩展的压缩策略，并在医疗和教育等领域实现高效部署。
📝 摘要（中文）
大型语言模型（LLM）的指数级增长凸显了对高效策略的需求，以满足不断扩展的计算和数据需求。本综述全面分析了两种互补的范式：知识蒸馏（KD）和数据集蒸馏（DD），旨在压缩LLM，同时保留其高级推理能力和语言多样性。我们首先研究KD的关键方法，如任务特定对齐、基于理由的训练和多教师框架，以及DD技术，这些技术通过基于优化的梯度匹配、潜在空间正则化和生成合成来合成紧凑、高影响的数据集。在此基础上，我们探讨了整合KD和DD如何产生更有效和可扩展的压缩策略。这些方法共同应对了模型可扩展性、架构异构性和LLM涌现能力保持方面的持续挑战。我们进一步强调了在医疗保健和教育等领域的应用，在这些领域，蒸馏可以在不牺牲性能的情况下实现高效部署。尽管取得了重大进展，但在保持涌现推理和语言多样性、实现对不断发展的教师模型和数据集的有效适应以及建立全面的评估协议方面，仍然存在开放性挑战。通过综合方法创新、理论基础和实践见解，我们的综述通过更紧密的KD和DD原则整合，为可持续的、资源高效的LLM规划了一条道路。
🔬 方法详解
问题定义：大型语言模型（LLM）的规模持续增长，导致计算和存储成本高昂，部署困难。现有的模型压缩方法，如量化、剪枝等，虽然可以减小模型体积，但往往会牺牲模型的性能，尤其是在推理能力和语言多样性方面。此外，如何高效地利用有限的数据训练出高性能的小模型也是一个挑战。
核心思路：本综述的核心思路是结合知识蒸馏（KD）和数据集蒸馏（DD）两种技术，协同压缩LLM。KD通过将大型教师模型的知识迁移到小型学生模型，实现模型压缩。DD则通过合成少量但信息量大的数据集，减少训练数据需求。二者结合，可以在保证模型性能的同时，显著降低计算和数据成本。
技术框架：该综述首先分别介绍了KD和DD的主流技术，包括任务特定对齐、基于理由的训练、多教师框架等KD方法，以及基于优化的梯度匹配、潜在空间正则化、生成合成等DD方法。然后，重点探讨了如何将KD和DD整合，以实现更有效的模型压缩。例如，可以使用DD生成的数据集来训练KD的学生模型，或者使用KD训练出的学生模型来辅助DD的数据集生成。
关键创新：该综述的关键创新在于强调了KD和DD的协同作用，并探讨了二者结合的潜在优势。传统的KD和DD方法通常是独立使用的，而该综述指出，二者可以相互促进，共同提升模型压缩效果。例如，DD可以为KD提供高质量的训练数据，而KD可以为DD提供更好的模型初始化。
关键设计：该综述并没有提出具体的算法或模型，而是对现有技术进行了梳理和总结，并提出了未来研究方向。在KD方面，需要关注如何更好地迁移教师模型的推理能力和语言多样性。在DD方面，需要关注如何生成更具代表性和信息量的数据集。此外，还需要设计更有效的评估指标，以衡量模型压缩的效果。
🖼️ 关键图片
📊 实验亮点
该综述总结了知识蒸馏和数据集蒸馏在压缩大型语言模型方面的最新进展，并指出了二者结合的潜在优势。通过对现有方法的分析，揭示了模型压缩面临的挑战，并提出了未来的研究方向，为相关领域的研究人员提供了有价值的参考。
🎯 应用场景
该研究成果可广泛应用于需要部署大型语言模型的各种场景，例如移动设备、边缘计算、医疗诊断、教育辅导等。通过模型压缩，可以在资源受限的环境下运行高性能的LLM，降低部署成本，提高用户体验。此外，该研究还有助于推动LLM在低资源语言和特定领域的应用。
📄 摘要（原文）
The exponential growth of Large Language Models (LLMs) continues to highlight the need for efficient strategies to meet ever-expanding computational and data demands. This survey provides a comprehensive analysis of two complementary paradigms: Knowledge Distillation (KD) and Dataset Distillation (DD), both aimed at compressing LLMs while preserving their advanced reasoning capabilities and linguistic diversity. We first examine key methodologies in KD, such as task-specific alignment, rationale-based training, and multi-teacher frameworks, alongside DD techniques that synthesize compact, high-impact datasets through optimization-based gradient matching, latent space regularization, and generative synthesis. Building on these foundations, we explore how integrating KD and DD can produce more effective and scalable compression strategies. Together, these approaches address persistent challenges in model scalability, architectural heterogeneity, and the preservation of emergent LLM abilities. We further highlight applications across domains such as healthcare and education, where distillation enables efficient deployment without sacrificing performance. Despite substantial progress, open challenges remain in preserving emergent reasoning and linguistic diversity, enabling efficient adaptation to continually evolving teacher models and datasets, and establishing comprehensive evaluation protocols. By synthesizing methodological innovations, theoretical foundations, and practical insights, our survey charts a path toward sustainable, resource-efficient LLMs through the tighter integration of KD and DD principles.