Adapt Once, Thrive with Updates: Transferable Parameter-Efficient Fine-Tuning on Evolving Base Models

📄 arXiv: 2506.06844v1 📥 PDF

作者: Naibin Gu, Peng Fu, Xiyu Liu, Ke Ma, Zheng Lin, Weiping Wang

分类: cs.CL

发布日期: 2025-06-07

备注: Accepted by ACL 2025

💡 一句话要点

Trans-PEFT：一种可迁移的参数高效微调方法，适应不断演进的基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 模型更新 迁移学习 注意力机制 前馈神经网络

📋 核心要点

  1. 现有PEFT模块在基础模型更新后性能显著下降，重新微调成本高昂，缺乏对演进模型的适应性。
  2. Trans-PEFT关注Attention机制中的任务特定模式，降低对FFN中特定知识的依赖，提升迁移能力。
  3. 实验证明Trans-PEFT无需重新微调即可在更新后的基础模型上保持性能，降低维护成本。

📝 摘要（中文）

参数高效微调(PEFT)已成为微调大型语言模型的常用方法，其中基础模型可以通过PEFT模块切换为多个用户提供服务。为了提升用户体验，基础模型需要定期更新。然而，一旦更新，在先前版本上微调的PEFT模块在新版本上通常会遭受严重的性能下降。重新调整这些大量模块以恢复性能将产生巨大的计算成本。通过对基础模型更新过程中发生的变化进行全面分析，我们发现了一个有趣的现象：持续训练主要影响存储在Feed-Forward Networks (FFN)中的特定于任务的知识，而对Attention机制中特定于任务的模式影响较小。基于这些发现，我们引入了Trans-PEFT，这是一种新颖的方法，通过关注特定于任务的模式来增强PEFT模块，同时减少其对基础模型中某些知识的依赖。进一步的理论分析支持了我们的方法。在7个基础模型和12个数据集上的大量实验表明，Trans-PEFT训练的模块可以在更新的基础模型上保持性能，而无需重新调整，从而显著降低了实际应用中的维护开销。

🔬 方法详解

问题定义：论文旨在解决基础模型更新后，已有的参数高效微调(PEFT)模块性能大幅下降的问题。现有方法需要对大量PEFT模块进行重新微调，计算成本高昂，难以适应基础模型的持续演进。因此，如何设计一种能够适应基础模型更新，无需重新训练即可保持性能的PEFT方法是本研究的核心问题。

核心思路：论文的核心思路是解耦PEFT模块对基础模型特定知识的依赖，使其更加关注任务相关的模式。作者通过分析发现，基础模型更新主要影响前馈神经网络(FFN)中存储的任务特定知识，而对注意力机制(Attention)中蕴含的任务特定模式影响较小。因此，Trans-PEFT的设计目标是增强PEFT模块对Attention机制的利用，同时减少对FFN的依赖。

技术框架：Trans-PEFT的技术框架主要包括以下几个部分：首先，对基础模型进行更新，模拟真实场景下的模型演进。然后，使用Trans-PEFT方法对PEFT模块进行训练，使其具备更强的迁移能力。最后，在更新后的基础模型上评估Trans-PEFT模块的性能，验证其有效性。整体流程可以概括为：基础模型更新 -> Trans-PEFT模块训练 -> 性能评估。

关键创新：Trans-PEFT的关键创新在于其对PEFT模块的重新设计，使其更加关注任务相关的模式，而非依赖于基础模型的特定知识。具体来说，Trans-PEFT通过调整PEFT模块的结构和训练方式，增强其对Attention机制的利用，同时减少对FFN的依赖。这种设计使得Trans-PEFT模块在基础模型更新后仍能保持较好的性能，无需重新训练。与现有PEFT方法相比，Trans-PEFT具有更强的迁移性和适应性。

关键设计：Trans-PEFT的具体实现细节未知，论文中可能涉及的关键设计包括：如何调整PEFT模块的结构以增强对Attention机制的利用？如何设计损失函数以鼓励PEFT模块学习任务相关的模式？如何控制PEFT模块对FFN的依赖程度？这些技术细节将直接影响Trans-PEFT的性能和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在7个基础模型和12个数据集上进行了大量实验，结果表明Trans-PEFT训练的模块可以在更新的基础模型上保持性能，而无需重新调整。具体的性能数据和提升幅度未知，但实验结果充分证明了Trans-PEFT的有效性和优越性。Trans-PEFT显著降低了实际应用中的维护开销。

🎯 应用场景

Trans-PEFT在实际应用中具有广泛的应用前景，尤其适用于需要频繁更新基础模型的场景，例如智能客服、机器翻译、内容生成等。通过使用Trans-PEFT，可以显著降低模型维护成本，提高模型的可用性和用户体验。未来，Trans-PEFT有望成为一种通用的参数高效微调方法，应用于各种自然语言处理任务。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) has become a common method for fine-tuning large language models, where a base model can serve multiple users through PEFT module switching. To enhance user experience, base models require periodic updates. However, once updated, PEFT modules fine-tuned on previous versions often suffer substantial performance degradation on newer versions. Re-tuning these numerous modules to restore performance would incur significant computational costs. Through a comprehensive analysis of the changes that occur during base model updates, we uncover an interesting phenomenon: continual training primarily affects task-specific knowledge stored in Feed-Forward Networks (FFN), while having less impact on the task-specific pattern in the Attention mechanism. Based on these findings, we introduce Trans-PEFT, a novel approach that enhances the PEFT module by focusing on the task-specific pattern while reducing its dependence on certain knowledge in the base model. Further theoretical analysis supports our approach. Extensive experiments across 7 base models and 12 datasets demonstrate that Trans-PEFT trained modules can maintain performance on updated base models without re-tuning, significantly reducing maintenance overhead in real-world applications.