SwiftPrune: Hessian-Free Weight Pruning for Large Language Models

📄 arXiv: 2501.16376v2 📥 PDF

作者: Yuhan Kang, Yang Shi, Mei We, Jun He, Jianchao Yang, Zeyu Xue, Jing Feng, Xinwang Liu

分类: cs.LG, cs.AI

发布日期: 2025-01-24 (更新: 2025-05-19)

💡 一句话要点

SwiftPrune：一种用于大型语言模型的无Hessian矩阵权重剪枝方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 权重剪枝 大型语言模型 模型压缩 无Hessian矩阵 指数加权移动平均

📋 核心要点

  1. 现有基于Hessian矩阵的剪枝方法计算量大，导致剪枝速度慢，实际效果受限。
  2. SwiftPrune提出了一种无Hessian矩阵的权重剪枝方法，通过贡献度量和EWMA技术加速剪枝过程。
  3. 实验表明，SwiftPrune在LLaMA2、LLaMA3和Pythia上实现了显著的加速和压缩性能提升。

📝 摘要（中文）

后训练剪枝是压缩大型语言模型的关键技术之一，对于轻量级模型部署和模型稀疏性至关重要。然而，当前主流的依赖于Hessian矩阵的剪枝方法，由于二阶导数计算的计算密集性，在剪枝速度和实际效果方面都面临重大限制。本文提出了SwiftPrune，一种新颖的无Hessian矩阵权重剪枝方法，通过两项关键创新实现硬件高效的模型压缩：1) SwiftPrune通过引入基于贡献的权重度量，消除了对计算密集型Hessian矩阵计算的需求，该度量在不依赖二阶导数的情况下评估权重的重要性。2) 我们采用指数加权移动平均(EWMA)技术来绕过权重排序，从而能够选择对LLM准确性贡献最大的权重，并进一步降低时间复杂度。我们的方法扩展到支持结构化稀疏剪枝，从而有助于在现代硬件加速器上高效执行。我们在三个LLM（即LLaMA2、LLaMA3和Pythia）上验证了SwiftPrune，证明它可以显著提高压缩性能。实验结果表明，SwiftPrune在几秒钟内完成剪枝过程，与现有的SOTA方法相比，平均加速12.29倍（最高可达56.02倍）。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）剪枝过程中，依赖Hessian矩阵计算导致的计算复杂度高、剪枝速度慢的问题。现有方法需要计算二阶导数，这对于大型模型来说是极其耗时的，限制了剪枝效率和实际应用。

核心思路：SwiftPrune的核心思路是避免直接计算Hessian矩阵，转而使用一种基于权重贡献度的指标来评估权重的重要性。同时，利用指数加权移动平均（EWMA）技术来避免对权重进行排序，进一步降低计算复杂度，从而实现快速剪枝。

技术框架：SwiftPrune主要包含两个阶段：1) 权重贡献度评估：通过前向传播计算每个权重对模型输出的影响，并使用贡献度作为权重重要性的度量。2) 权重选择与剪枝：使用EWMA技术动态更新权重贡献度，并根据贡献度选择要剪枝的权重。该方法支持结构化剪枝，以适应现代硬件加速器的需求。

关键创新：SwiftPrune的关键创新在于提出了无Hessian矩阵的权重重要性评估方法。与依赖二阶导数的方法不同，SwiftPrune直接通过前向传播计算权重贡献度，避免了复杂的Hessian矩阵计算。此外，EWMA技术的应用也显著降低了权重排序的计算成本。

关键设计：权重贡献度的计算方式是关键设计之一，论文中具体如何定义和计算贡献度需要进一步查阅原文。EWMA的参数设置，例如平滑因子，也会影响剪枝效果。结构化剪枝的具体实现方式，例如剪枝的粒度（channel-wise, block-wise等），也需要根据硬件特性进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SwiftPrune在LLaMA2、LLaMA3和Pythia等大型语言模型上进行了验证，实验结果表明，SwiftPrune能够在几秒钟内完成剪枝过程，与现有SOTA方法相比，平均加速12.29倍（最高可达56.02倍）。这表明SwiftPrune在保证模型性能的同时，显著提高了剪枝效率。

🎯 应用场景

SwiftPrune可应用于各种需要轻量化部署的大型语言模型场景，例如移动设备、边缘计算设备等资源受限的环境。该方法能够显著降低模型大小和计算复杂度，提高推理速度，从而使得LLM能够在更多场景下应用，并降低部署成本。未来，该方法可以进一步扩展到其他类型的深度学习模型。

📄 摘要（原文）

Post-training pruning, as one of the key techniques for compressing large language models, plays a vital role in lightweight model deployment and model sparsity. However, current mainstream pruning methods dependent on the Hessian matrix face significant limitations in both pruning speed and practical effectiveness due to the computationally intensive nature of second-order derivative calculations. This paper presents SwiftPrune, a novel Hessian-free weight pruning method that achieves hardware-efficient model compression through two key innovations: 1) SwiftPrune eliminates the need for computationally intensive Hessian matrix calculations by introducing a contribution-based weight metric, which evaluates the importance of weights without relying on second-order derivatives. 2) we employ the Exponentially Weighted Moving Average (EWMA) technique to bypass weight sorting, enabling the selection of weights that contribute most to LLM accuracy and further reducing time complexity. Our approach is extended to support structured sparsity pruning, facilitating efficient execution on modern hardware accelerators. We validate the SwiftPrune on three LLMs (namely LLaMA2, LLaMA3, and Pythia), demonstrating that it significantly enhances compression performance. The experimental findings reveal that SwiftPrune completes the pruning process within seconds, achieving an average speedup of 12.29x (up to 56.02x) over existing SOTA approaches.