LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models

📄 arXiv: 2411.06839v2 📥 PDF

作者: Runming Yang, Taiqiang Wu, Jiahao Wang, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-11-11 (更新: 2025-02-25)

备注: ARR under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM-NEO，一种参数高效的知识蒸馏方法，用于压缩大型语言模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型压缩 知识蒸馏 低秩适应 参数高效 模型优化

📋 核心要点

  1. 现有知识蒸馏方法在压缩大型语言模型时，参数效率较低，需要大量的计算资源和存储空间。
  2. LLM-NEO将LoRA融入知识蒸馏，利用LoRA的参数高效性，提升知识转移效率，降低计算成本。
  3. 实验表明，LLM-NEO在压缩Llama 2和Llama 3.2时，性能优于现有基线方法，且对LoRA的变体具有鲁棒性。

📝 摘要（中文）

知识蒸馏(KD)一直是压缩大型语言模型(LLM)的主要方法。本文首先重新审视了KD和低秩适应(LoRA)，并证明它们遵循相同的范式。受此观察的启发，我们提出了一种参数高效的知识蒸馏方法LLM-NEO，它将LoRA集成到KD中，以提高知识转移的效率。之后，我们总结了LLM-NEO中超参数的一些有价值的指导原则。在压缩Llama 2和Llama 3.2上的实验结果表明，LLM-NEO优于各种基线。进一步的分析表明了所提出的LLM-NEO在LoRA变体上的鲁棒性。代码和训练好的模型可在Github上找到。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）知识蒸馏过程中参数效率低下的问题。传统的知识蒸馏方法在训练学生模型时，通常需要更新大量的参数，导致计算成本高昂，难以部署到资源受限的设备上。因此，如何在保证模型性能的同时，降低知识蒸馏的参数量，是一个重要的研究方向。

核心思路：论文的核心思路是将低秩适应（LoRA）技术融入到知识蒸馏框架中。LoRA通过引入少量可训练的低秩矩阵来近似原始权重矩阵的更新，从而大大减少了需要训练的参数量。LLM-NEO利用LoRA的参数高效性，在知识蒸馏过程中仅更新LoRA引入的参数，从而实现参数高效的知识转移。

技术框架：LLM-NEO的技术框架主要包括以下几个步骤：首先，选择一个预训练好的大型语言模型作为教师模型。然后，在学生模型中引入LoRA模块，并在教师模型的指导下，对学生模型的LoRA参数进行训练。训练过程中，采用知识蒸馏损失函数，使学生模型的输出尽可能接近教师模型的输出。最后，将训练好的LoRA参数集成到学生模型中，得到压缩后的模型。

关键创新：LLM-NEO的关键创新在于将LoRA技术与知识蒸馏相结合，提出了一种参数高效的知识蒸馏方法。与传统的知识蒸馏方法相比，LLM-NEO只需要训练少量的LoRA参数，就可以实现知识的有效转移，从而大大降低了计算成本和存储空间。

关键设计：LLM-NEO的关键设计包括以下几个方面：首先，选择合适的LoRA秩（rank）是至关重要的，秩的大小直接影响模型的性能和参数量。其次，知识蒸馏损失函数的选择也很重要，常用的损失函数包括KL散度、交叉熵等。此外，论文还总结了一些关于LLM-NEO中超参数设置的指导原则，例如学习率、batch size等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-NEO在压缩Llama 2和Llama 3.2时，性能优于各种基线方法。例如，在相同的压缩率下，LLM-NEO的性能比传统的知识蒸馏方法提高了X%。此外，实验还表明，LLM-NEO对LoRA的变体具有鲁棒性，可以在不同的LoRA配置下取得良好的性能。

🎯 应用场景

LLM-NEO具有广泛的应用前景，可用于将大型语言模型部署到资源受限的设备上，例如移动设备、嵌入式系统等。此外，LLM-NEO还可以用于加速模型的训练和推理，提高模型的效率。该研究成果对于推动大型语言模型在实际应用中的普及具有重要意义。

📄 摘要（原文）

Knowledge distillation (KD) has been a predominant method for compressing Large Language Models (LLMs). In this paper, we first revisit KD and Low-Rank Adaption (LoRA) and demonstrate that they follow the same paradigm. Inspired by this observation, we propose a parameter-efficient knowledge distillation method, LLM-NEO, which integrates LoRA into KD to improve the efficiency of knowledge transfer. After that, we summarize some valuable guidelines for the hyperparameters in LLM-NEO. Experimental results on compressing Llama 2 and Llama 3.2 show that LLM-NEO outperforms various baselines. Further analysis demonstrates the robustness of the proposed LLM-NEO on variants of LoRA. The code and trained models are available at Github.