GenFT: A Generative Parameter-Efficient Fine-Tuning Method for Pretrained Foundation Models

📄 arXiv: 2506.11042v1 📥 PDF

作者: Baoquan Zhang, Guangning Xu, Michael. K. Ng

分类: cs.LG

发布日期: 2025-05-21

💡 一句话要点

GenFT：一种生成式的参数高效微调方法，用于预训练模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 预训练模型 迁移学习 生成式模型 计算机视觉 自然语言处理

📋 核心要点

  1. 现有参数高效微调方法通常从头训练任务特定的权重更新，忽略了预训练权重中蕴含的丰富信息。
  2. GenFT通过从预训练权重中提取结构化信息，并将其用于指导任务特定权重更新的训练，从而实现更高效的微调。
  3. 实验表明，GenFT在多个CV和NLP基准测试中优于现有的参数高效微调方法，证明了其有效性。

📝 摘要（中文）

预训练基础模型（PFMs）通过高效地适应定制任务，改变了众多应用。参数高效微调（PEFT）已成为一种资源高效的替代方案，以替代完全微调，特别是利用重新参数化的权重$ΔW$来调整下游任务的模型。然而，一个关键但尚未充分探索的问题仍然存在：我们能否利用良好预训练的权重$W_0$来指导特定任务的$ΔW$更新，从而避免从头开始进行低效训练？为了解决这个问题，我们提出了一种生成式参数高效微调（GenFT），这是一种新颖的方法，可以从$W_0$中提取结构化的、可转移的信息，以实现高效的$ΔW$训练。为了提取行和列的结构信息，GenFT应用行和列变换来提取$W_0$中的基本模式。定制的策略进一步将$ΔW$分解为层共享和层特定的组件，从而平衡信息重用和个性化灵活性。GenFT简单而有效，在CV和NLP任务中均实现了卓越的性能。在VTAB-1K、FGVC和GLUE基准上的大量实验表明，GenFT优于最先进的PEFT方法，为高效的模型适应提供了一个新的视角。

🔬 方法详解

问题定义：论文旨在解决参数高效微调（PEFT）方法在利用预训练模型时，忽略了预训练权重本身所包含的丰富信息的问题。现有PEFT方法通常从随机初始化开始训练任务特定的权重更新，效率较低，且可能无法充分利用预训练模型的知识。

核心思路：GenFT的核心思路是从预训练权重中提取结构化的、可转移的信息，并利用这些信息来指导任务特定权重更新的训练。通过这种方式，GenFT可以避免从头开始训练权重更新，从而提高微调效率和性能。

技术框架：GenFT主要包含两个阶段：信息提取和权重更新。在信息提取阶段，GenFT对预训练权重进行行和列变换，以提取结构化的信息。在权重更新阶段，GenFT使用提取的信息来指导任务特定权重更新的训练。此外，GenFT还采用了一种定制的策略，将权重更新分解为层共享和层特定的组件，以平衡信息重用和个性化灵活性。

关键创新：GenFT的关键创新在于其利用预训练权重中的结构化信息来指导任务特定权重更新的训练。这种方法不同于传统的PEFT方法，后者通常从随机初始化开始训练权重更新。通过利用预训练权重中的信息，GenFT可以更有效地进行微调。

关键设计：GenFT的关键设计包括：1) 使用行和列变换来提取预训练权重中的结构化信息；2) 使用提取的信息来指导任务特定权重更新的训练；3) 将权重更新分解为层共享和层特定的组件。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GenFT在VTAB-1K、FGVC和GLUE等多个基准测试中取得了显著的性能提升，优于现有的参数高效微调方法。实验结果表明，GenFT能够更有效地利用预训练模型的知识，从而实现更好的泛化能力。具体的性能数据和对比结果在论文中进行了详细展示。

🎯 应用场景

GenFT具有广泛的应用前景，可以应用于各种需要高效微调预训练模型的场景，例如自然语言处理、计算机视觉等。该方法可以降低微调成本，提高模型性能，加速模型部署，尤其适用于资源受限的场景。未来，GenFT可以进一步扩展到其他类型的预训练模型和任务，并与其他参数高效微调技术相结合，以实现更好的性能。

📄 摘要（原文）

Pretrained Foundation Models (PFMs) have transformed numerous applications by enabling efficient adaptation to customized tasks. Parameter-Efficient Fine-Tuning (PEFT) has emerged as a resource-efficient alternative to full fine-tuning, especially leveraging reparameterized weights $ΔW$ to adapt models for downstream tasks. However, a critical yet underexplored question remains: can we utilize well-pretrained weights $W_0$ to guide the update of task-specific $ΔW$, avoiding inefficient training it from scratch? To end this, we propose Generative Parameter-Efficient Fine-Tuning (GenFT), a novel method that extracts structured, transferable information from $W_0$ for efficient $ΔW$ training. To extract row and column structure information, GenFT applies row and column transformations to distill essential patterns from $W_0$. A tailored policy further decomposes $ΔW$ into layer-shared and layer-specific components, balancing information reuse and individualized flexibility. GenFT is simple yet effective, achieving superior performance across CV and NLP tasks. Extensive experiments on VTAB-1K, FGVC, and GLUE benchmarks demonstrate that GenFT outperforms state-of-the-art PEFT methods, offering a new perspective for efficient model adaptation.