The LLM Surgeon

📄 arXiv: 2312.17244v2 📥 PDF

作者: Tycho F. A. van der Ouderaa, Markus Nagel, Mart van Baalen, Yuki M. Asano, Tijmen Blankevoort

分类: cs.LG, cs.CL

发布日期: 2023-12-28 (更新: 2024-03-20)

💡 一句话要点

提出基于Kronecker因子曲率逼近的大语言模型剪枝方法，实现高效压缩。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型剪枝 模型压缩 Kronecker因子 曲率近似

📋 核心要点

  1. 现有Transformer模型体积庞大，难以在资源受限的环境中部署，需要有效的压缩方法。
  2. 利用Kronecker因子曲率近似，动态分配可移除的结构并更新剩余权重，实现高效剪枝。
  3. 实验表明，该方法在OPT和Llama2-7B模型上实现了显著的剪枝比例，且性能损失很小。

📝 摘要（中文）

为了在计算资源、环境限制或特定设备约束下部署大型语言模型，本文探索了一种数据驱动的模型压缩方法，作为从头训练小型模型的替代方案。该方法将Kronecker因子曲率近似扩展到大型语言模型，用于计算可移除结构的动态分配以及剩余权重的更新。本文提出了一个通用的非结构化、半结构化和结构化剪枝框架，并改进了权重更新方法以捕获权重之间更多的相关性，同时保持计算效率。实验结果表明，该方法可以将一系列OPT模型和Llama2-7B的行和列剪枝20%-30%，性能损失可忽略不计，并在大型语言模型的非结构化和半结构化剪枝方面取得了最先进的结果。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）体积过大，难以在计算资源受限的环境中部署的问题。现有方法，如从头训练小型模型，往往效果不如直接压缩预训练模型。此外，现有的剪枝方法可能无法充分利用权重之间的相关性，导致性能下降。

核心思路：论文的核心思路是利用Kronecker因子曲率近似来估计模型参数的重要性，并据此进行剪枝。通过这种方式，可以动态地确定哪些结构可以被移除，并且在移除后更新剩余的权重，以补偿剪枝带来的性能损失。这种方法旨在更准确地捕捉权重之间的相关性，从而在剪枝后保持模型的性能。

技术框架：该方法包含以下几个主要步骤：1) 使用Kronecker因子曲率近似计算模型参数的重要性。2) 基于重要性评分，动态地分配可移除的结构（例如，行、列或单个权重）。3) 移除选定的结构。4) 更新剩余的权重，以补偿剪枝带来的性能损失。该框架支持非结构化、半结构化和结构化剪枝。

关键创新：论文的关键创新在于将Kronecker因子曲率近似应用于大型语言模型的剪枝，并改进了权重更新方法。传统的剪枝方法可能只关注单个权重的重要性，而忽略了权重之间的相关性。该方法通过曲率近似，能够更好地捕捉权重之间的依赖关系，从而在剪枝后保持模型的性能。此外，该方法提供了一个通用的框架，可以支持不同类型的剪枝策略。

关键设计：论文的关键设计包括：1) 使用Kronecker因子分解来近似Hessian矩阵，从而降低计算复杂度。2) 设计了一种权重更新策略，该策略考虑了被移除权重对剩余权重的影响。3) 提供了一个灵活的框架，可以根据不同的需求选择不同的剪枝策略（例如，非结构化、半结构化或结构化剪枝）。具体的参数设置和损失函数选择取决于具体的模型和任务。

📊 实验亮点

实验结果表明，该方法可以将OPT模型和Llama2-7B的行和列剪枝20%-30%，而性能损失可忽略不计。在大型语言模型的非结构化和半结构化剪枝方面，该方法取得了最先进的结果。这些结果表明，该方法是一种有效的模型压缩技术，可以在保持模型性能的同时显著降低模型的体积。

🎯 应用场景

该研究成果可应用于各种需要部署大型语言模型的场景，尤其是在计算资源有限的边缘设备或移动设备上。通过对模型进行高效压缩，可以降低模型的存储空间和计算复杂度，使其能够在这些设备上运行。此外，该方法还可以用于降低大型模型的训练和推理成本，从而提高模型的可用性和可扩展性。

📄 摘要（原文）

State-of-the-art language models are becoming increasingly large in an effort to achieve the highest performance on large corpora of available textual data. However, the sheer size of the Transformer architectures makes it difficult to deploy models within computational, environmental or device-specific constraints. We explore data-driven compression of existing pretrained models as an alternative to training smaller models from scratch. To do so, we scale Kronecker-factored curvature approximations of the target loss landscape to large language models. In doing so, we can compute both the dynamic allocation of structures that can be removed as well as updates of remaining weights that account for the removal. We provide a general framework for unstructured, semi-structured and structured pruning and improve upon weight updates to capture more correlations between weights, while remaining computationally efficient. Experimentally, our method can prune rows and columns from a range of OPT models and Llamav2-7B by 20%-30%, with a negligible loss in performance, and achieve state-of-the-art results in unstructured and semi-structured pruning of large language models.