Compression Laws for Large Language Models

📄 arXiv: 2504.04342v1 📥 PDF

作者: Ayan Sengupta, Siddhant Chaudhary, Tanmoy Chakraborty

分类: cs.CL

发布日期: 2025-04-06

备注: 16 pages, 11 figures, 6 tables

💡 一句话要点

研究LLM压缩对下游任务的影响，提出适用于资源受限场景的压缩法则。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型压缩 结构化剪枝 恢复微调 推理加速 资源受限 下游任务

📋 核心要点

  1. 现有研究主要关注模型规模等因素对LLM的影响，忽略了模型压缩对下游任务性能的影响。
  2. 通过大量实验，研究结构化模型压缩对LLM的影响，并探索恢复微调对性能的提升作用。
  3. 实验表明，模型压缩在提高推理速度的同时，性能下降相对可控，恢复微调能显著提升性能。

📝 摘要（中文）

本文提出了针对大型语言模型（LLM）的压缩法则。不同于以往关注模型大小、预训练数据和计算资源对LLM扩展影响的研究，本文侧重于理解模型压缩如何影响预训练LLM在下游任务上的性能。通过超过1000次实验，涵盖八个模型（规模从0.5B到14B参数），实证研究了结构化模型压缩对LLM的影响。研究结果表明，测试交叉熵损失随压缩比呈二次方增长，而下游任务的性能仅呈线性下降。研究强调了恢复微调在提升生成损失方面的重要性，表明压缩LLM的测试损失通过恢复微调最多可提高55%。在较高压缩比（高达90%）下，压缩LLM在推理期间的速度比未压缩模型提高60%，弥补了此水平的性能下降。然而，对于较小模型（≤7B），计算收益有限，仅达到35%。结论是，模型压缩对于较大的模型非常有益，尤其是在同一计算预算内没有较小模型可用时。这些见解为在资源受限的环境中利用模型压缩技术采用LLM提供了实用的指导。

🔬 方法详解

问题定义：论文旨在研究如何有效地压缩大型语言模型（LLM），并在压缩后保持或尽可能提升其在下游任务上的性能。现有方法通常只关注压缩比，而忽略了压缩对模型泛化能力和下游任务性能的细致影响，缺乏对不同规模LLM压缩特性的深入理解。

核心思路：论文的核心思路是通过大量的实验，系统性地研究不同压缩比下，LLM在下游任务上的性能变化规律，从而建立“压缩法则”。同时，探索恢复微调（Recovery Fine-tuning）方法，以弥补压缩带来的性能损失，并找到在推理速度和性能之间的最佳平衡点。

技术框架：论文的技术框架主要包括以下几个阶段：1）选择不同规模的预训练LLM（0.5B到14B参数）；2）采用结构化模型压缩技术，对模型进行不同程度的压缩；3）在多个下游任务上评估压缩模型的性能，并记录测试交叉熵损失；4）应用恢复微调技术，进一步优化压缩模型的性能；5）分析实验数据，建立压缩比与性能损失之间的关系模型，即“压缩法则”。

关键创新：论文最重要的技术创新点在于：1）首次提出了针对LLM的“压缩法则”，揭示了压缩比与性能损失之间的定量关系；2）强调了恢复微调在提升压缩模型性能方面的重要性，并验证了其有效性；3）通过大量实验，为不同规模LLM的压缩提供了实用的指导，帮助用户在资源受限的环境下更好地部署LLM。

关键设计：论文的关键设计包括：1）选择具有代表性的结构化模型压缩方法（具体方法未知）；2）设计合理的下游任务评估方案，覆盖不同的任务类型和数据集；3）采用合适的恢复微调策略，例如，选择合适的微调数据和训练参数（具体细节未知）；4）使用测试交叉熵损失作为评估生成性能的指标，并结合下游任务的性能指标，综合评估压缩模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，测试交叉熵损失随压缩比呈二次方增长，而下游任务性能仅呈线性下降。通过恢复微调，压缩LLM的测试损失最多可提高55%。在高压缩比（高达90%）下，压缩LLM的推理速度比未压缩模型提高60%。对于较小模型（≤7B），计算收益有限，仅达到35%。

🎯 应用场景

该研究成果可应用于各种资源受限的场景，例如移动设备、边缘计算和嵌入式系统。通过模型压缩，可以在这些平台上部署大型语言模型，实现智能助手、机器翻译、文本生成等功能。此外，该研究还可以帮助企业降低LLM的部署成本，提高推理效率，从而加速LLM在各行业的应用。

📄 摘要（原文）

We introduce compression laws for language language models (LLMs). While recent scaling laws have sought to understand how LLMs scale with respect to model size, pre-training data, and computational resources, we focus on understanding how model compression affects the performance of a pre-trained LLM on downstream tasks. We empirically examine the effects of structured model compression on LLMs through over $1000$ experiments across eight models with sizes ranging from $0.5B$ to $14B$ parameters. Our findings indicate that the test cross-entropy loss increases quadratically with the compression ratio, whereas performance on downstream tasks declines only linearly. Our study emphasizes the importance of recovery fine-tuning in enhancing generation loss, showing that the test loss of compressed LLMs can improve by up to 55% with recovery fine-tuning. At higher compression ratios (up to 90%), compressed LLMs demonstrate a speed increase of 60% during inference compared to their uncompressed counterparts, compensating for the performance degradation at this level. However, for smaller models ($\le 7B$), the computational gains are limited, peaking at just 35%. We conclude that model compression can be highly beneficial for larger models, especially when a smaller model within the same computational budget is not available. These insights provide the practical guidelines for utilizing model compression techniques for adopting LLMs in real-life applications in resource-constrained settings.