Light-PEFT: Lightening Parameter-Efficient Fine-Tuning via Early Pruning

📄 arXiv: 2406.03792v1 📥 PDF

作者: Naibin Gu, Peng Fu, Xiyu Liu, Bowen Shen, Zheng Lin, Weiping Wang

分类: cs.CL

发布日期: 2024-06-06

备注: Findings of ACL 2024

💡 一句话要点

Light-PEFT：通过早期剪枝减轻参数高效微调的计算负担

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 早期剪枝 大语言模型 模型压缩 训练加速

📋 核心要点

  1. 现有PEFT方法在训练效率上存在不足，主要体现在对基础模型的冗余使用以及PEFT模块本身参数的冗余。
  2. Light-PEFT框架通过在训练早期同时估计并剪枝基础模型和PEFT模块中的冗余参数，实现更高效的微调。
  3. 实验表明，Light-PEFT能在剪枝高达40%的基础模型参数的同时，将可训练参数控制在原始PEFT方法的25%，并加速训练和推理。

📝 摘要（中文）

参数高效微调(PEFT)已成为大语言模型时代微调的主要技术。然而，现有的PEFT方法仍然存在训练效率不足的问题。首先，在训练过程中使用大规模基础模型对于某些微调任务来说过度冗余。其次，随着模型规模的增加，经验性添加的PEFT模块的可训练参数的增长变得不可忽略且冗余，导致效率低下。为了实现特定任务的高效微调，我们提出了Light-PEFT框架，其中包括两种方法：基础模型的掩码早期剪枝和PEFT的多粒度早期剪枝。Light-PEFT框架允许在训练的早期阶段同时估计基础模型和PEFT模块中的冗余参数。然后可以剪枝这些参数，以实现更高效的微调。我们在GLUE、SuperGLUE、QA任务和各种模型上验证了我们的方法。使用Light-PEFT，基础模型的参数可以被剪枝高达40%以上，同时仍然控制可训练参数仅为原始PEFT方法的25%。与直接使用PEFT方法相比，Light-PEFT实现了训练和推理加速，减少了内存使用，并保持了与PEFT相当的性能和即插即用特性。

🔬 方法详解

问题定义：现有参数高效微调（PEFT）方法虽然减少了微调所需的参数量，但仍然存在训练效率问题。具体来说，对于某些特定任务，使用完整的大规模预训练模型进行微调是冗余的，并且随着模型规模的增大，PEFT模块本身引入的参数量也变得不可忽视，导致训练效率降低。因此，需要一种更高效的微调方法，能够在保证性能的同时，进一步减少计算资源的需求。

核心思路：Light-PEFT的核心思路是在训练的早期阶段，通过识别并剪枝基础模型和PEFT模块中的冗余参数，从而减少后续训练过程中的计算量。这种早期剪枝策略能够在不显著影响模型性能的前提下，显著提高训练效率。通过移除不重要的参数，模型可以更快地收敛，并减少内存占用。

技术框架：Light-PEFT框架包含两个主要组成部分：基础模型的掩码早期剪枝和PEFT模块的多粒度早期剪枝。首先，对基础模型进行掩码早期剪枝，识别并移除对特定任务不重要的参数。然后，对PEFT模块进行多粒度早期剪枝，进一步减少可训练参数的数量。这两个步骤可以并行或串行执行，以达到最佳的训练效率和性能。

关键创新：Light-PEFT的关键创新在于其早期剪枝策略，它能够在训练的早期阶段同时估计基础模型和PEFT模块中的冗余参数，并进行剪枝。与传统的剪枝方法不同，Light-PEFT不是在模型训练完成后进行剪枝，而是在训练过程中动态地调整模型结构，从而实现更高效的微调。此外，多粒度剪枝策略允许对PEFT模块的不同部分进行不同程度的剪枝，从而更好地平衡性能和效率。

关键设计：Light-PEFT的关键设计包括：1) 使用掩码来识别和移除基础模型中的冗余参数；2) 采用多粒度剪枝策略，对PEFT模块的不同部分进行不同程度的剪枝；3) 设计合适的剪枝策略，以确保在剪枝过程中不会显著降低模型性能；4) 探索不同的剪枝粒度，例如权重级别、神经元级别或层级别，以找到最佳的剪枝方案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Light-PEFT能够在GLUE、SuperGLUE和QA任务上取得与传统PEFT方法相当的性能，同时显著减少计算资源的需求。具体来说，Light-PEFT可以将基础模型的参数剪枝高达40%以上，并将可训练参数控制在原始PEFT方法的25%。此外，Light-PEFT还实现了训练和推理速度的提升，并降低了内存使用。

🎯 应用场景

Light-PEFT可广泛应用于各种需要高效微调的场景，例如资源受限的边缘设备、需要快速迭代的开发环境以及大规模模型部署等。该方法能够降低微调成本，加速模型开发周期，并提高模型在实际应用中的部署效率。此外，Light-PEFT还有助于推动大语言模型在更多领域的应用，例如智能客服、机器翻译和文本生成等。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) has emerged as the predominant technique for fine-tuning in the era of large language models. However, existing PEFT methods still have inadequate training efficiency. Firstly, the utilization of large-scale foundation models during the training process is excessively redundant for certain fine-tuning tasks. Secondly, as the model size increases, the growth in trainable parameters of empirically added PEFT modules becomes non-negligible and redundant, leading to inefficiency. To achieve task-specific efficient fine-tuning, we propose the Light-PEFT framework, which includes two methods: Masked Early Pruning of the Foundation Model and Multi-Granularity Early Pruning of PEFT. The Light-PEFT framework allows for the simultaneous estimation of redundant parameters in both the foundation model and PEFT modules during the early stage of training. These parameters can then be pruned for more efficient fine-tuning. We validate our approach on GLUE, SuperGLUE, QA tasks, and various models. With Light-PEFT, parameters of the foundation model can be pruned by up to over 40%, while still controlling trainable parameters to be only 25% of the original PEFT method. Compared to utilizing the PEFT method directly, Light-PEFT achieves training and inference speedup, reduces memory usage, and maintains comparable performance and the plug-and-play feature of PEFT.