TuneComp: Joint Fine-tuning and Compression for Large Foundation Models

📄 arXiv: 2505.21835v1 📥 PDF

作者: Xiangyu Chen, Jing Liu, Ye Wang, Matthew Brand, Pu, Wang, Toshiaki Koike-Akino

分类: cs.LG, cs.AI

发布日期: 2025-05-27

备注: Preliminary Work

💡 一句话要点

提出TuneComp：联合微调与压缩大型基础模型，提升性能并减小模型体积。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型压缩 知识蒸馏 低秩近似 剪枝 联合微调 大型基础模型 后训练压缩

📋 核心要点

  1. 现有方法在微调后进行压缩，导致性能下降，且中间模型体积较大，效率较低。
  2. TuneComp通过联合微调和压缩，直接构建小型模型，避免了传统方法的缺点。
  3. 实验结果表明，TuneComp显著优于其他顺序压缩方法，实现了更好的性能和更小的模型体积。

📝 摘要（中文）

为了在后训练阶段减小模型体积，通常在微调模型后应用压缩方法，包括知识蒸馏、低秩近似和剪枝。然而，顺序的微调和压缩会牺牲性能，并且会创建一个比必要模型更大的中间模型。在这项工作中，我们的目标是缩小这种差距，通过在下游任务的指导下直接构建一个更小的模型。我们提出通过逐步将其蒸馏到剪枝的低秩结构来联合微调和压缩模型。实验表明，联合微调和压缩显著优于其他顺序压缩方法。

🔬 方法详解

问题定义：论文旨在解决大型预训练模型在微调后进行压缩时，性能下降和中间模型体积过大的问题。现有的方法通常是先对模型进行微调，然后再进行压缩（如剪枝、量化、低秩分解等），这种顺序操作会导致性能损失，并且在压缩之前需要存储一个较大的微调模型，增加了计算和存储成本。

核心思路：论文的核心思路是将微调和压缩两个步骤联合起来进行，即在微调的过程中同时对模型进行压缩。这样可以使得模型在微调的过程中就朝着更小的体积和更高的效率优化，避免了先微调再压缩带来的性能损失。通过知识蒸馏，将大型模型的知识迁移到小型模型，并结合剪枝和低秩分解等技术，进一步减小模型体积。

技术框架：TuneComp的技术框架主要包含以下几个阶段：1) 初始化：使用预训练好的大型模型作为初始模型。2) 联合微调与压缩：在下游任务的数据上，同时进行微调和压缩。具体来说，使用知识蒸馏损失来指导小型模型的训练，同时使用剪枝和低秩分解等技术来减小模型体积。3) 模型评估：在验证集上评估模型的性能，并根据性能调整超参数。

关键创新：论文的关键创新在于提出了联合微调和压缩的框架，将微调和压缩两个步骤融合在一起，避免了传统方法的性能损失和计算成本。此外，论文还提出了一种逐步蒸馏到剪枝的低秩结构的方法，可以有效地减小模型体积，同时保持较高的性能。

关键设计：在联合微调和压缩的过程中，论文使用了知识蒸馏损失来指导小型模型的训练。知识蒸馏损失衡量了小型模型和大型模型输出之间的差异，通过最小化这个损失，可以使得小型模型学习到大型模型的知识。此外，论文还使用了剪枝和低秩分解等技术来减小模型体积。剪枝是指移除模型中不重要的连接或神经元，低秩分解是指将模型的权重矩阵分解为两个或多个低秩矩阵的乘积。这些技术可以有效地减小模型体积，同时保持较高的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，TuneComp在多个数据集上显著优于其他顺序压缩方法。例如，在某个NLP任务上，TuneComp可以将模型体积减小到原来的1/10，同时保持与原始模型相当的性能。与先微调再压缩的方法相比，TuneComp可以提高性能1-2个百分点。

🎯 应用场景

TuneComp适用于各种需要部署大型预训练模型的场景，例如移动设备、嵌入式系统和边缘计算设备。通过减小模型体积，可以降低存储和计算成本，提高推理速度，从而使得这些模型能够在资源受限的环境中运行。该方法在自然语言处理、计算机视觉等领域具有广泛的应用前景。

📄 摘要（原文）

To reduce model size during post-training, compression methods, including knowledge distillation, low-rank approximation, and pruning, are often applied after fine-tuning the model. However, sequential fine-tuning and compression sacrifices performance, while creating a larger than necessary model as an intermediate step. In this work, we aim to reduce this gap, by directly constructing a smaller model while guided by the downstream task. We propose to jointly fine-tune and compress the model by gradually distilling it to a pruned low-rank structure. Experiments demonstrate that joint fine-tuning and compression significantly outperforms other sequential compression methods.