Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning

📄 arXiv: 2410.07461v1 📥 PDF

作者: Abhinav Bandari, Lu Yin, Cheng-Yu Hsieh, Ajay Kumar Jaiswal, Tianlong Chen, Li Shen, Ranjay Krishna, Shiwei Liu

分类: cs.CL

发布日期: 2024-10-09

备注: EMNLP 2024

🔗 代码/项目: GITHUB

💡 一句话要点

揭示C4数据集并非LLM剪枝最优选择，提出校准数据选择对剪枝性能影响的关键性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM剪枝 校准数据 C4数据集 上下文学习 思维链 模型压缩 轻量化部署

📋 核心要点

  1. 现有LLM剪枝方法普遍使用C4数据集作为校准数据，但其对于剪枝的最优性缺乏充分的评估和验证。
  2. 该研究通过广泛实验，评估不同数据集作为校准数据对LLM剪枝性能的影响，探索更优的校准数据选择方案。
  3. 实验结果表明，C4并非最优选择，算术数据集表现优异，且ICL和CoT对不同任务的影响存在差异。

📝 摘要（中文）

网络剪枝是降低大型语言模型（LLM）部署成本的有效方法。然而，现有LLM剪枝方法普遍依赖C4数据集作为计算剪枝分数的校准数据，其最优性未经验证。本研究评估了校准数据选择对LLM剪枝的影响，涵盖了LLM训练和评估中最常用的数据集，包括四个预训练数据集以及包含九个数据集的三类下游任务。每个下游数据集分别使用上下文学习（ICL）和思维链（CoT）进行提示。结果表明，校准数据的选择显著影响剪枝后LLM的性能，并揭示了一些微妙且出乎意料的发现：（1）即使在常用的预训练数据集中，C4也不是LLM剪枝的最佳选择；（2）算术数据集作为校准数据，其性能与预训练数据集相当甚至更好；（3）与预训练数据相比，使用下游数据集进行剪枝不一定有助于相应的下游任务；（4）ICL对所有数据类别都有广泛的好处，而CoT仅在某些任务上有用。这些发现揭示了为LLM剪枝仔细选择校准数据的重要性，并为在实际应用中更有效地部署这些强大的模型铺平了道路。代码已开源。

🔬 方法详解

问题定义：现有LLM剪枝方法通常使用C4数据集作为校准数据来计算剪枝分数，但C4数据集是否是最佳选择尚不明确。不同的校准数据集可能会导致不同的剪枝效果，从而影响剪枝后模型的性能。现有方法缺乏对校准数据集选择的系统性研究，可能导致剪枝效果不佳。

核心思路：该论文的核心思路是通过实验评估不同数据集作为校准数据对LLM剪枝性能的影响，从而找到更优的校准数据选择方案。通过比较不同数据集在剪枝后的模型性能，揭示不同类型数据集对剪枝过程的影响，并为LLM剪枝提供更有效的校准数据选择策略。

技术框架：该研究的技术框架主要包括以下几个步骤：1）选择一系列常用的LLM训练和评估数据集，包括预训练数据集和下游任务数据集；2）使用不同的数据集作为校准数据，计算LLM的剪枝分数；3）根据剪枝分数对LLM进行剪枝；4）在下游任务上评估剪枝后LLM的性能；5）比较不同校准数据集下剪枝后LLM的性能，分析不同数据集对剪枝效果的影响。

关键创新：该论文的关键创新在于系统性地研究了校准数据选择对LLM剪枝性能的影响，揭示了C4数据集并非最优选择，并发现算术数据集在某些情况下表现更好。此外，该研究还探讨了ICL和CoT等提示方法对剪枝后模型性能的影响，为LLM剪枝提供了新的视角和指导。

关键设计：该研究的关键设计包括：1）选择具有代表性的预训练数据集和下游任务数据集，以保证实验结果的泛化性；2）使用ICL和CoT等提示方法，以评估不同提示策略对剪枝后模型性能的影响；3）采用多种评估指标，以全面评估剪枝后模型的性能；4）进行大量的实验，以保证实验结果的可靠性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，C4数据集并非LLM剪枝的最佳校准数据选择。算术数据集作为校准数据，其性能与预训练数据集相当甚至更好。ICL对所有数据类别都有广泛的好处，而CoT仅在某些任务上有用。这些发现为LLM剪枝提供了新的指导，有助于选择更有效的校准数据，从而提高剪枝后模型的性能。

🎯 应用场景

该研究成果可应用于LLM的轻量化部署，通过选择合适的校准数据，可以在保证模型性能的前提下，显著降低模型的大小和计算复杂度，从而降低部署成本，提高推理效率。这对于在资源受限的设备上部署LLM，以及大规模部署LLM具有重要意义。

📄 摘要（原文）

Network pruning has emerged as a potential solution to make LLMs cheaper to deploy. However, existing LLM pruning approaches universally rely on the C4 dataset as the calibration data for calculating pruning scores, leaving its optimality unexplored. In this study, we evaluate the choice of calibration data on LLM pruning, across a wide range of datasets that are most commonly used in LLM training and evaluation, including four pertaining datasets as well as three categories of downstream tasks encompassing nine datasets. Each downstream dataset is prompted with In-Context Learning (ICL) and Chain-of-Thought (CoT), respectively. Besides the already intriguing observation that the choice of calibration data significantly impacts the performance of pruned LLMs, our results also uncover several subtle and often unexpected findings, summarized as follows: (1) C4 is not the optimal choice for LLM pruning, even among commonly used pre-training datasets; (2) arithmetic datasets, when used as calibration data, performs on par or even better than pre-training datasets; (3) pruning with downstream datasets does not necessarily help the corresponding downstream task, compared to pre-training data; (4) ICL is widely beneficial to all data categories, whereas CoT is only useful on certain tasks. Our findings shed light on the importance of carefully selecting calibration data for LLM pruning and pave the way for more efficient deployment of these powerful models in real-world applications. We release our code at: https://github.com/abx393/llm-pruning-calibration-data.