A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning

📄 arXiv: 2504.21099v1 📥 PDF

作者: Jieming Bian, Yuanzhe Peng, Lei Wang, Yin Huang, Jie Xu

分类: cs.LG, cs.AI

发布日期: 2025-04-29

备注: survey paper, under updating

💡 一句话要点

联邦学习中面向大模型的参数高效微调方法综述

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 参数高效微调 基础模型 数据异构性 通信效率 隐私保护 计算机视觉 自然语言处理

📋 核心要点

  1. 现有大模型微调计算资源需求高昂，难以在资源受限的联邦学习环境中应用。
  2. 参数高效微调（PEFT）通过仅更新少量参数来降低计算成本，适配联邦学习场景。
  3. 综述对联邦学习中的PEFT方法进行分类和分析，并探讨了未来研究方向。

📝 摘要（中文）

基础模型通过在大规模数据集上预训练，彻底改变了人工智能领域。然而，将这些大型模型适配到特定的下游任务需要进行微调，这在计算资源方面可能非常昂贵。参数高效微调（PEFT）方法通过选择性地仅更新一小部分参数来应对这一挑战。同时，联邦学习（FL）实现了跨分布式客户端的协作模型训练，而无需共享原始数据，使其成为隐私敏感型应用的理想选择。本综述全面回顾了 PEFT 技术在联邦学习环境中的集成。我们系统地将现有方法分为三个主要类别：附加式 PEFT（引入新的可训练参数）、选择式 PEFT（仅微调现有参数的子集）和重参数化 PEFT（转换模型架构以实现高效更新）。对于每个类别，我们分析了这些方法如何应对联邦设置的独特挑战，包括数据异构性、通信效率、计算约束和隐私问题。我们进一步根据应用领域组织文献，涵盖自然语言处理和计算机视觉任务。最后，我们讨论了有前景的研究方向，包括扩展到更大的基础模型、联邦 PEFT 方法的理论分析以及资源受限环境的可持续方法。

🔬 方法详解

问题定义：论文旨在解决联邦学习环境下，由于基础模型参数量巨大，直接进行微调所带来的计算资源和通信开销过大的问题。现有方法在联邦学习中微调大型模型时，面临着数据异构性、通信效率低、计算资源有限以及隐私保护等挑战。

核心思路：论文的核心思路是综述并分类现有的参数高效微调（PEFT）方法，并分析它们在联邦学习环境下的适用性和优缺点。通过选择性地更新模型中的一小部分参数，或者引入少量额外的可训练参数，来降低计算和通信成本，同时保持模型的性能。

技术框架：论文将现有的联邦学习中的PEFT方法分为三类：1) 附加式 PEFT：在原有模型基础上增加少量可训练的参数模块；2) 选择式 PEFT：选择模型中一部分重要的参数进行微调；3) 重参数化 PEFT：通过改变模型的参数化方式，使得只有少量参数需要更新。论文对每一类方法进行了详细的分析和比较。

关键创新：论文的主要创新在于对联邦学习中参数高效微调方法的系统性分类和综述。它将现有方法归纳为三个主要类别，并分析了它们在联邦学习环境下的优缺点，为研究人员提供了一个全面的参考框架。

关键设计：论文并没有提出新的算法或模型，而是对现有方法进行了整理和分析。关键的设计在于对不同PEFT方法的分类标准，以及对这些方法在联邦学习场景下性能影响因素的分析，例如数据异构性对不同PEFT方法的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述论文系统地整理了联邦学习中参数高效微调方法，并从附加式、选择式和重参数化三个角度进行了分类。论文还分析了这些方法在不同应用场景下的性能表现，为研究人员提供了有价值的参考。

🎯 应用场景

该研究对联邦学习和参数高效微调的结合具有重要意义，可应用于医疗健康、金融等对数据隐私要求较高的领域。通过在本地客户端进行参数高效的微调，可以保护用户数据的隐私，同时利用联邦学习的优势，提升模型的泛化能力。未来的发展方向包括将这些方法扩展到更大的基础模型，并进行理论分析。

📄 摘要（原文）

Foundation models have revolutionized artificial intelligence by providing robust, versatile architectures pre-trained on large-scale datasets. However, adapting these massive models to specific downstream tasks requires fine-tuning, which can be prohibitively expensive in computational resources. Parameter-Efficient Fine-Tuning (PEFT) methods address this challenge by selectively updating only a small subset of parameters. Meanwhile, Federated Learning (FL) enables collaborative model training across distributed clients without sharing raw data, making it ideal for privacy-sensitive applications. This survey provides a comprehensive review of the integration of PEFT techniques within federated learning environments. We systematically categorize existing approaches into three main groups: Additive PEFT (which introduces new trainable parameters), Selective PEFT (which fine-tunes only subsets of existing parameters), and Reparameterized PEFT (which transforms model architectures to enable efficient updates). For each category, we analyze how these methods address the unique challenges of federated settings, including data heterogeneity, communication efficiency, computational constraints, and privacy concerns. We further organize the literature based on application domains, covering both natural language processing and computer vision tasks. Finally, we discuss promising research directions, including scaling to larger foundation models, theoretical analysis of federated PEFT methods, and sustainable approaches for resource-constrained environments.