E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity

📄 arXiv: 2310.15929v2 📥 PDF

作者: Yun Li, Lin Niu, Xipeng Zhang, Kai Liu, Jianchen Zhu, Zhanhui Kang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-10-24 (更新: 2024-03-22)

💡 一句话要点

提出E-Sparse以提升大语言模型推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 剪枝技术 信息熵 N:M稀疏性 模型推理 计算效率 内存优化

📋 核心要点

  1. 现有剪枝方法在大语言模型中难以应用，主要由于训练过程复杂和计算资源消耗大。
  2. 本文提出E-Sparse，通过引入信息熵作为剪枝指标，优化N:M稀疏性而不修改剩余权重。
  3. 实验结果表明，E-Sparse在推理速度上比稠密模型快1.53倍，并节省了43.52%的内存。

📝 摘要（中文）

传统的剪枝方法在生成性人工智能的大语言模型（LLMs）中面临训练过程复杂和计算需求高的挑战。本文首次将隐藏状态特征的信息熵引入剪枝指标设计，提出E-Sparse，以提高LLM上N:M稀疏性的准确性。E-Sparse利用信息丰富性来评估通道重要性，并结合多项新技术实现其效果：一是引入信息熵增强参数权重和输入特征范数的显著性，二是设计全局简单洗牌和局部块洗牌以快速优化信息分布，充分应对N:M稀疏性对LLM准确性的影响。E-Sparse在FasterTransformer上实现为Sparse-GEMM，并在NVIDIA Ampere GPU上运行。对LLaMA系列和OPT模型的广泛实验表明，E-Sparse显著加速模型推理（最高可达1.53倍），并实现显著的内存节省（最高可达43.52%），同时保持可接受的准确性损失。

🔬 方法详解

问题定义：本文旨在解决传统剪枝方法在大语言模型中应用困难的问题，尤其是训练过程复杂和计算需求高的痛点。

核心思路：E-Sparse通过引入信息熵来增强参数权重和输入特征的显著性，作为新的剪枝指标，从而实现N:M稀疏性而不影响剩余权重。

技术框架：E-Sparse的整体架构包括信息熵计算、通道重要性评估、全局和局部洗牌优化等模块，旨在快速优化信息分布并减小准确性损失。

关键创新：E-Sparse的核心创新在于将信息熵引入剪枝指标设计，显著提升了通道重要性评估的准确性，与现有方法相比，能够在不修改剩余权重的情况下实现更高效的稀疏性。

关键设计：在E-Sparse中，设计了全局简单洗牌和局部块洗牌技术，以快速优化信息分布，确保在N:M稀疏性下，模型的准确性能够得到有效保持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

E-Sparse在LLaMA系列和OPT模型上的实验结果显示，其推理速度比稠密模型快1.53倍，同时实现了最高43.52%的内存节省，且保持了可接受的准确性损失。这些结果表明E-Sparse在大语言模型推理中的显著优势。

🎯 应用场景

E-Sparse的研究成果具有广泛的应用潜力，尤其在需要高效推理的大语言模型场景中，如自然语言处理、对话系统和生成性任务等。通过提升推理速度和节省内存，E-Sparse能够为实际应用提供更高的性能和更低的资源消耗，推动生成性人工智能的发展。

📄 摘要（原文）

Traditional pruning methods are known to be challenging to work in Large Language Models (LLMs) for Generative AI because of their unaffordable training process and large computational demands. For the first time, we introduce the information entropy of hidden state features into a pruning metric design, namely E-Sparse, to improve the accuracy of N:M sparsity on LLM. E-Sparse employs the information richness to leverage the channel importance, and further incorporates several novel techniques to put it into effect: (1) it introduces information entropy to enhance the significance of parameter weights and input feature norms as a novel pruning metric, and performs N:M sparsity without modifying the remaining weights. (2) it designs global naive shuffle and local block shuffle to quickly optimize the information distribution and adequately cope with the impact of N:M sparsity on LLMs' accuracy. E-Sparse is implemented as a Sparse-GEMM on FasterTransformer and runs on NVIDIA Ampere GPUs. Extensive experiments on the LLaMA family and OPT models show that E-Sparse can significantly speed up the model inference over the dense model (up to 1.53X) and obtain significant memory saving (up to 43.52%), with acceptable accuracy loss.