Pear: Pruning and Sharing Adapters in Visual Parameter-Efficient Fine-Tuning
作者: Yibo Zhong, Yao Zhou
分类: cs.CV
发布日期: 2024-09-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出Pear框架，通过剪枝和共享适配器实现视觉预训练模型的高效微调
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 参数高效微调 适配器剪枝 知识共享 视觉预训练模型 模型压缩
📋 核心要点
- 现有适配器微调方法存在冗余，导致存储开销大和性能下降。
- Pear框架通过剪枝不重要的适配器并共享重要适配器，实现高效微调。
- 知识检查点策略保留剪枝适配器信息，实验表明Pear框架性能优于其他方法。
📝 摘要（中文）
本文提出了一种名为Pear（Prune and Share）的新型适配器剪枝框架，用于高效微调预训练视觉基础模型，旨在缓解微调过程中适配器本身的冗余问题，从而降低存储开销并提升性能。具体而言，Pear框架剪枝部分适配器，并将更重要的未剪枝适配器与被剪枝的位置共享，从而允许在剪枝后进行持续的适配。此外，还引入了一种知识检查点策略，用于保留被剪枝适配器的信息，进一步提升性能。在视觉适配基准上的实验结果验证了所提出的Pear框架的有效性和效率，优于其他具有竞争力的算法。
🔬 方法详解
问题定义：现有基于适配器的参数高效微调方法在视觉预训练模型中应用广泛，但适配器本身可能存在冗余，导致不必要的存储开销，并且可能限制模型的性能。因此，需要一种方法来减少适配器的冗余，同时保持或提高模型的性能。
核心思路：Pear框架的核心思路是通过剪枝不重要的适配器，并将重要的适配器共享给被剪枝的位置，从而减少适配器的数量，降低存储开销。同时，通过知识检查点策略，保留被剪枝适配器的知识，以弥补剪枝带来的性能损失。这种剪枝和共享的策略旨在找到适配器中的关键部分，并有效地利用它们。
技术框架：Pear框架主要包含三个阶段：适配器剪枝、适配器共享和知识检查点。首先，通过某种剪枝策略（具体策略未知）确定需要剪枝的适配器。然后，将未被剪枝的适配器共享给被剪枝的位置，实现参数的复用。最后，利用知识检查点策略，保存被剪枝适配器的信息，并在后续训练中使用这些信息来提升性能。整体流程是在标准适配器微调的基础上，增加了剪枝和共享的步骤，以及知识的保存和利用。
关键创新：Pear框架的关键创新在于将剪枝和共享策略应用于适配器微调，并结合知识检查点来提升性能。与传统的适配器微调方法相比，Pear框架能够更有效地利用适配器中的参数，减少冗余，提高模型的效率和性能。与传统的模型剪枝方法相比，Pear框架针对适配器进行剪枝，更加轻量级，易于实现。
关键设计：具体的剪枝策略、适配器共享方式和知识检查点策略是Pear框架的关键设计。论文中可能使用了某种重要性指标来评估适配器的重要性，并根据该指标进行剪枝。适配器共享可能采用简单的复制或更复杂的融合方式。知识检查点策略的具体实现方式未知，可能涉及到保存被剪枝适配器的权重或激活值，并在后续训练中以某种方式利用这些信息。损失函数的设计也可能需要考虑剪枝和共享的影响，以保证模型的收敛性和性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Pear框架在视觉适配基准上优于其他具有竞争力的算法，验证了其有效性和效率。具体的性能提升数据未知，但摘要中强调了Pear框架在降低存储开销和提升性能方面的优势。代码已开源，方便研究人员复现和进一步研究。
🎯 应用场景
Pear框架可应用于各种视觉任务的预训练模型微调，例如图像分类、目标检测、图像分割等。该方法能够有效降低存储开销，提高微调效率，尤其适用于资源受限的场景，如移动设备或边缘计算。未来，该方法可以进一步扩展到其他模态的模型微调，例如自然语言处理领域。
📄 摘要（原文）
Adapters have been widely explored to alleviate computational and storage costs when fine-tuning pretrained foundation models. However, the adapter itself can exhibit redundancy, leading to unnecessary storage overhead and inferior performance. In this paper, we propose Prune and Share (Pear), a novel adapter-pruning framework for efficient fine-tuning of pretrained visual foundation models. Specifically, we prune certain adapters and share the more important unpruned ones with positions where adapters are pruned, allowing continual adaptation at these positions after pruning. Additionally, a knowledge checkpoint strategy is introduced, which preserves the information of the pruned adapters and further boosts performance. Experimental results on visual adaptation benchmark validate the effectiveness and efficiency of the proposed Pear comparing to other competitive methods. Code is in https://github.com/yibozhong/pear.