PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models

📄 arXiv: 2504.14117v1 📥 PDF

作者: Nusrat Jahan Prottasha, Upama Roy Chowdhury, Shetu Mohanto, Tasfia Nuzhat, Abdullah As Sami, Md Shamol Ali, Md Shohanur Islam Sobuj, Hafijur Raman, Md Kowsher, Ozlem Ozmen Garibay

分类: cs.CL, cs.CV

发布日期: 2025-04-19

备注: PEFT Survey paper

💡 一句话要点

综述：针对大语言和视觉模型的参数高效微调（PEFT）技术

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 大型语言模型 视觉语言模型 迁移学习 模型微调 深度学习 人工智能

📋 核心要点

  1. 完全微调大型模型成本高昂，面临计算资源、内存和数据量需求大的挑战，阻碍了其广泛应用。
  2. 参数高效微调（PEFT）通过仅更新少量参数来适应下游任务，降低了计算成本，提高了效率。
  3. 该综述对PEFT技术进行了全面分类和比较，并探讨了其在语言、视觉和生成建模等领域的应用。

📝 摘要（中文）

大型模型，如大型语言模型（LLM）和视觉语言模型（VLM），已经改变了人工智能领域，推动了自然语言处理、计算机视觉和多模态学习等应用的发展。然而，完全微调这些模型仍然非常昂贵，需要大量的计算资源、内存和特定于任务的数据。参数高效微调（PEFT）作为一种有前景的解决方案应运而生，它允许通过仅更新一小部分参数来使大型模型适应下游任务。本综述全面概述了PEFT技术，重点关注其动机、设计原则和有效性。我们首先分析了传统微调带来的资源和可访问性挑战，并强调了诸如过拟合、灾难性遗忘和参数效率低下等关键问题。然后，我们介绍了一个结构化的PEFT方法分类法——分为加性、选择性、重参数化、混合和统一框架——并系统地比较它们的机制和权衡。除了分类法之外，我们还探讨了PEFT在包括语言、视觉和生成建模等不同领域的影响，展示了这些技术如何以较低的资源成本提供强大的性能。我们还讨论了可扩展性、可解释性和鲁棒性方面的重要开放挑战，并提出了联邦学习、领域自适应和理论基础等未来方向。我们的目标是提供对PEFT的统一理解及其在实现大型模型的实际、高效和可持续使用方面的日益重要的作用。

🔬 方法详解

问题定义：论文旨在解决完全微调大型语言模型（LLM）和视觉语言模型（VLM）时面临的资源消耗问题，包括计算资源、内存和任务特定数据的需求。现有方法，即完全微调，的痛点在于其高昂的计算成本和对大量数据的依赖，使得许多研究者和开发者难以负担。

核心思路：论文的核心思路是综述并分类参数高效微调（PEFT）技术，这些技术通过仅更新模型的一小部分参数来适应下游任务，从而显著降低计算成本和数据需求。这样设计的目的是使大型模型更容易被广泛应用，并促进其在资源受限环境中的部署。

技术框架：论文首先分析了传统微调的挑战，然后提出了一个结构化的PEFT方法分类法，包括加性方法（如Adapter）、选择性方法（如BitFit）、重参数化方法（如LoRA）、混合方法和统一框架。论文系统地比较了这些方法的机制和权衡，并探讨了它们在不同领域的应用。

关键创新：论文的关键创新在于提供了一个全面且结构化的PEFT技术综述，并将其分为不同的类别，从而帮助研究人员和从业者更好地理解和选择适合其特定任务的PEFT方法。此外，论文还讨论了PEFT技术在可扩展性、可解释性和鲁棒性方面面临的挑战，并提出了未来的研究方向。

关键设计：论文没有提出新的算法或模型，而是对现有PEFT技术进行了系统的整理和分析。关键设计在于其分类框架，该框架将PEFT方法分为加性、选择性、重参数化、混合和统一框架，并详细描述了每种方法的原理和优缺点。论文还讨论了不同PEFT方法在不同任务和数据集上的性能表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述全面分析了各种PEFT技术，并展示了它们在降低计算成本的同时，保持了与完全微调相当甚至更好的性能。例如，LoRA等方法在多个NLP任务上取得了与完全微调接近的性能，但仅需更新少量参数。此外，该综述还探讨了PEFT在视觉和生成模型中的应用，证明了其广泛的适用性。

🎯 应用场景

该研究成果可广泛应用于自然语言处理、计算机视觉和多模态学习等领域，尤其是在资源受限的环境下，例如移动设备或边缘计算平台。PEFT技术能够降低大型模型的部署成本，使其更容易被广泛应用，并促进人工智能技术的普及。

📄 摘要（原文）

Large models such as Large Language Models (LLMs) and Vision Language Models (VLMs) have transformed artificial intelligence, powering applications in natural language processing, computer vision, and multimodal learning. However, fully fine-tuning these models remains expensive, requiring extensive computational resources, memory, and task-specific data. Parameter-Efficient Fine-Tuning (PEFT) has emerged as a promising solution that allows adapting large models to downstream tasks by updating only a small portion of parameters. This survey presents a comprehensive overview of PEFT techniques, focusing on their motivations, design principles, and effectiveness. We begin by analyzing the resource and accessibility challenges posed by traditional fine-tuning and highlight key issues, such as overfitting, catastrophic forgetting, and parameter inefficiency. We then introduce a structured taxonomy of PEFT methods -- grouped into additive, selective, reparameterized, hybrid, and unified frameworks -- and systematically compare their mechanisms and trade-offs. Beyond taxonomy, we explore the impact of PEFT across diverse domains, including language, vision, and generative modeling, showing how these techniques offer strong performance with lower resource costs. We also discuss important open challenges in scalability, interpretability, and robustness, and suggest future directions such as federated learning, domain adaptation, and theoretical grounding. Our goal is to provide a unified understanding of PEFT and its growing role in enabling practical, efficient, and sustainable use of large models.