Evaluating the Impact of Compression Techniques on Task-Specific Performance of Large Language Models

📄 arXiv: 2409.11233v1 📥 PDF

作者: Bishwash Khanal, Jeffery M. Capone

分类: cs.CL

发布日期: 2024-09-17

💡 一句话要点

评估压缩技术对大语言模型任务性能的影响，强调校准数据和评估指标的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型压缩 模型剪枝 稀疏化 Jensen-Shannon散度 校准数据 下游任务性能 LLaMA-2 模型评估

📋 核心要点

  1. 现有LLM压缩方法过度依赖困惑度评估，忽略了下游任务性能的显著下降。
  2. 提出使用Jensen-Shannon散度作为更全面的评估指标，捕捉模型压缩后的行为变化。
  3. 研究表明，针对特定任务的校准数据能有效提升压缩后模型在下游任务中的性能。

📝 摘要（中文）

大型语言模型(LLMs)功能强大，但计算成本高昂，因此需要高效的压缩技术。本研究评估了流行的压缩方法——幅度剪枝、SparseGPT和Wanda——对LLaMA-2-7B模型的影响，重点关注模型大小缩减、下游任务性能以及校准数据的作用之间的权衡。研究结果表明，虽然SparseGPT和Wanda即使在50%的稀疏性下也能保持困惑度，但它们在下游任务上表现出显著的性能下降，突显了困惑度作为唯一评估指标的不足。为了解决这个问题，我们引入了Jensen-Shannon (JS)散度作为一种更全面的指标，可以捕捉压缩后模型行为的细微变化。我们进一步证明，与通用校准数据相比，特定于任务的校准数据显著提高了压缩模型的下游性能。这项研究强调了多样化评估指标和仔细选择校准数据的必要性，以充分理解LLM压缩的复杂性及其对实际应用的影响。

🔬 方法详解

问题定义：论文旨在解决大语言模型压缩过程中，仅使用困惑度作为评估指标的局限性问题。现有方法在压缩模型后，虽然困惑度可能保持不变，但在下游任务上的性能会显著下降，无法真实反映压缩对模型能力的影响。

核心思路：论文的核心思路是引入Jensen-Shannon (JS)散度作为一种更全面的评估指标，以捕捉模型压缩后行为的细微变化。同时，研究强调了校准数据的重要性，并提出使用特定于任务的校准数据来提升压缩模型的下游任务性能。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 使用幅度剪枝、SparseGPT和Wanda等压缩技术对LLaMA-2-7B模型进行压缩；2) 使用困惑度和JS散度评估压缩模型的性能变化；3) 使用通用校准数据和特定于任务的校准数据对压缩模型进行校准；4) 在下游任务上评估校准后的压缩模型的性能。

关键创新：论文的关键创新在于：1) 提出了使用JS散度作为评估LLM压缩效果的补充指标，弥补了困惑度的不足；2) 强调了校准数据选择的重要性，并证明了特定于任务的校准数据能够显著提升压缩模型的下游任务性能。

关键设计：论文的关键设计包括：1) 选择了LLaMA-2-7B模型作为实验对象，具有代表性；2) 采用了多种压缩技术（幅度剪枝、SparseGPT和Wanda）进行对比分析；3) 使用了多种下游任务进行评估，保证了结果的泛化性；4) 详细分析了不同校准数据对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SparseGPT和Wanda在50%稀疏度下保持了困惑度，但在下游任务上性能显著下降。使用JS散度能够更准确地反映模型压缩后的行为变化。与通用校准数据相比，特定于任务的校准数据显著提高了压缩模型的下游性能。例如，在某些任务上，使用特定任务校准数据后，压缩模型的性能提升了10%以上。

🎯 应用场景

该研究成果可应用于各种需要部署大语言模型的场景，尤其是在资源受限的环境中，例如移动设备、边缘计算等。通过选择合适的压缩技术和校准数据，可以在保证模型性能的前提下，显著降低模型的存储空间和计算成本，从而实现LLM的广泛应用。此外，该研究提出的评估指标JS散度，可以帮助研究人员更全面地了解压缩技术对模型行为的影响，从而开发更有效的压缩算法。

📄 摘要（原文）

Large language models (LLMs) offer powerful capabilities but incur substantial computational costs, driving the need for efficient compression techniques. This study evaluates the impact of popular compression methods - Magnitude Pruning, SparseGPT, and Wanda - on the LLaMA-2-7B model, focusing on the trade-offs between model size reduction, downstream task performance, and the role of calibration data. Our findings reveal that while SparseGPT and Wanda preserve perplexity even at 50% sparsity, they suffer significant degradation on downstream tasks, highlighting the inadequacy of perplexity as the sole evaluation metric. To address this, we introduce Jensen-Shannon (JS) Divergence as a more comprehensive metric that captures nuanced changes in model behavior post-compression. We further demonstrate that task-specific calibration data significantly enhances the downstream performance of compressed models compared to general calibration data. This research underscores the necessity for diverse evaluation metrics and careful calibration data selection to fully understand the complexities of LLM compression and its implications for practical applications.