Less is More: Towards Green Code Large Language Models via Unified Structural Pruning

📄 arXiv: 2412.15921v2 📥 PDF

作者: Guang Yang, Yu Zhou, Xiangyu Zhang, Wei Cheng, Ke Liu, Xiang Chen, Terry Yue Zhuo, Taolue Chen

分类: cs.SE, cs.AI

发布日期: 2024-12-20 (更新: 2025-04-23)

备注: UNDER REVIEW

💡 一句话要点

提出Flab-Pruner，通过统一结构剪枝实现绿色代码大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大语言模型 结构剪枝 模型压缩 绿色软件工程 代码生成

📋 核心要点

  1. 现有代码大语言模型计算需求高、能耗大，传统剪枝方法难以有效处理其高维输出和复杂结构。
  2. 提出Flab-Pruner，一种统一的结构剪枝方法，同时剪枝词汇表、层和前馈网络，以减少模型参数。
  3. 实验表明，Flab-Pruner在剪枝22%参数后保持97%性能，后训练后性能甚至更好，并显著提升效率。

📝 摘要（中文）

大型语言模型（LLM）在生成式代码任务中的广泛应用，因其高计算需求和能源消耗而引发关注。与处理低维分类logits的分类模型剪枝方法不同，生成式代码LLM产生高维token logit序列，使得传统剪枝目标受限。此外，现有的单组件剪枝方法进一步限制了其在代码LLM上的有效性。为此，我们提出Flab-Pruner，一种创新的统一结构剪枝方法，结合了词汇表、层和前馈网络（FFN）剪枝，有效减少模型参数并保持性能。此外，我们为代码任务定制了代码指令数据策略，以提高剪枝模型的性能恢复效率。在多个生成式代码任务上对三种最先进的代码LLM进行评估，结果表明，Flab-Pruner在剪枝22%的参数后，仍能保持原始性能的97%，并在后训练后达到相同甚至更好的性能。剪枝后的模型在存储、GPU使用、计算效率和环境影响方面表现出显著改进，同时保持了良好的鲁棒性。我们的研究为绿色软件工程提供了一种可持续的解决方案，并促进了LLM在实际生成式代码智能应用中的高效部署。

🔬 方法详解

问题定义：论文旨在解决代码大语言模型（Code LLM）在生成代码任务中计算资源消耗过高的问题。现有剪枝方法，特别是为分类模型设计的剪枝方法，无法有效应用于Code LLM，因为Code LLM生成的是高维的token logit序列，而传统剪枝目标是低维的分类logits。此外，现有的单组件剪枝方法（例如只剪枝层或只剪枝词汇表）在处理Code LLM时效果有限。

核心思路：论文的核心思路是通过统一的结构剪枝方法，同时对Code LLM的多个组件（词汇表、层和前馈网络）进行剪枝，从而更有效地减少模型参数，同时保持模型的性能。这种统一剪枝策略能够更好地适应Code LLM的复杂结构和高维输出。此外，论文还引入了定制的代码指令数据策略，用于在剪枝后对模型进行微调，以恢复剪枝造成的性能损失。

技术框架：Flab-Pruner的技术框架主要包含以下几个阶段：1) 模型分析：分析Code LLM的结构，确定可剪枝的组件（词汇表、层、FFN）。2) 统一剪枝：使用统一的剪枝策略，同时对选定的组件进行剪枝。具体剪枝方法未知，但强调了统一性。3) 性能评估：评估剪枝后模型的性能，确定剪枝比例。4) 后训练：使用定制的代码指令数据策略对剪枝后的模型进行微调，以恢复性能。

关键创新：该论文的关键创新在于提出了统一结构剪枝方法Flab-Pruner，该方法能够同时对Code LLM的词汇表、层和前馈网络进行剪枝，从而更有效地减少模型参数，同时保持模型的性能。与现有方法相比，Flab-Pruner不再局限于单一组件的剪枝，而是从整体上优化模型的结构。此外，定制的代码指令数据策略也是一个创新点，它能够更有效地恢复剪枝造成的性能损失。

关键设计：论文中关于剪枝的具体算法细节和参数设置未知。但是，论文强调了以下关键设计：1) 统一剪枝策略：需要设计一种能够同时应用于词汇表、层和FFN的剪枝策略。2) 剪枝比例：需要确定每个组件的剪枝比例，以在参数减少和性能保持之间取得平衡。3) 代码指令数据策略：需要设计一种能够有效恢复剪枝造成的性能损失的数据策略。损失函数的具体形式未知。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Flab-Pruner在剪枝22%的参数后，仍能保持原始性能的97%。经过后训练，剪枝后的模型能够达到与原始模型相同甚至更好的性能。此外，剪枝后的模型在存储、GPU使用、计算效率和环境影响方面均有显著改进，同时保持了良好的鲁棒性。这些结果表明，Flab-Pruner是一种有效的代码大语言模型剪枝方法。

🎯 应用场景

该研究成果可应用于各种生成式代码智能应用，例如代码自动补全、代码生成、代码翻译等。通过降低代码大语言模型的计算需求和能源消耗，可以促进其在资源受限环境下的部署，并降低使用成本。此外，该研究还有助于推动绿色软件工程的发展，减少人工智能技术对环境的影响。

📄 摘要（原文）

The extensive application of Large Language Models (LLMs) in generative coding tasks has raised concerns due to their high computational demands and energy consumption. Unlike previous structural pruning methods designed for classification models that deal with lowdimensional classification logits, generative Code LLMs produce high-dimensional token logit sequences, making traditional pruning objectives inherently limited. Moreover, existing single component pruning approaches further constrain the effectiveness when applied to generative Code LLMs. In response, we propose Flab-Pruner, an innovative unified structural pruning method that combines vocabulary, layer, and Feed-Forward Network (FFN) pruning. This approach effectively reduces model parameters while maintaining performance. Additionally, we introduce a customized code instruction data strategy for coding tasks to enhance the performance recovery efficiency of the pruned model. Through extensive evaluations on three state-of-the-art Code LLMs across multiple generative coding tasks, the results demonstrate that Flab-Pruner retains 97% of the original performance after pruning 22% of the parameters and achieves the same or even better performance after post-training. The pruned models exhibit significant improvements in storage, GPU usage, computational efficiency, and environmental impact, while maintaining well robustness. Our research provides a sustainable solution for green software engineering and promotes the efficient deployment of LLMs in real-world generative coding intelligence applications.