PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models

📄 arXiv: 2512.02764v1 📥 PDF

作者: Robert Belanec, Ivan Srba, Maria Bielikova

分类: cs.CL

发布日期: 2025-12-02

🔗 代码/项目: GITHUB

💡 一句话要点

PEFT-Factory：统一自回归大语言模型的高效参数微调框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 大语言模型 统一框架 可复现性 基准测试 LLaMA-Factory 文本生成

📋 核心要点

  1. 现有PEFT方法缺乏统一框架，难以复现、部署和公平比较，阻碍了该领域的发展。
  2. PEFT-Factory提供统一的PEFT微调框架，支持多种PEFT方法、数据集和评估指标，提升可复现性和可比性。
  3. 该框架原生支持19种PEFT方法和27个数据集，提供即用型环境，简化了PEFT方法的研究和应用。

📝 摘要（中文）

参数高效微调（PEFT）方法旨在解决大型语言模型（LLM）规模日益增长的问题。目前，许多新提出的PEFT方法难以复现、部署或相互比较。为了解决这个问题，我们推出了PEFT-Factory，这是一个统一的框架，可以使用现成的和自定义的PEFT方法高效地微调LLM。其模块化设计支持可扩展性，并原生提供了一组具有代表性的19种PEFT方法、27个分类和文本生成数据集（涵盖12个任务）以及标准和PEFT特定的评估指标。因此，PEFT-Factory提供了一个即用、可控且稳定的环境，从而提高了PEFT方法的可复现性和基准测试能力。PEFT-Factory是一个源自流行的LLaMA-Factory的下游框架，并在https://github.com/kinit-sk/PEFT-Factory上公开提供。

🔬 方法详解

问题定义：现有参数高效微调（PEFT）方法缺乏统一的框架，导致难以复现、部署和相互比较。研究人员难以在一个受控的环境中评估不同PEFT方法的性能，阻碍了PEFT技术的发展和应用。此外，针对特定任务选择合适的PEFT方法也缺乏有效的指导。

核心思路：PEFT-Factory的核心思路是构建一个模块化、可扩展的统一框架，将各种PEFT方法、数据集和评估指标集成在一起。通过提供一个标准化的环境，方便研究人员复现现有方法、开发新的PEFT技术，并进行公平的性能比较。该框架旨在简化PEFT方法的研究和应用，加速LLM的微调过程。

技术框架：PEFT-Factory是一个下游框架，基于LLaMA-Factory构建。它主要包含以下几个模块： 1. PEFT方法库：集成了19种具有代表性的PEFT方法，例如LoRA、Adapter等。 2. 数据集库：包含了27个分类和文本生成数据集，涵盖12个不同的任务。 3. 评估指标库：提供了标准和PEFT特定的评估指标，用于评估微调后的模型性能。 4. 训练和评估流程：提供了一套标准化的训练和评估流程，方便用户进行实验。

关键创新：PEFT-Factory的关键创新在于提供了一个统一的、可扩展的PEFT微调框架。与以往分散的PEFT方法实现相比，PEFT-Factory将各种方法集成在一个平台上，方便用户进行比较和选择。此外，该框架的模块化设计使得用户可以轻松地添加新的PEFT方法和数据集，从而保持框架的持续更新。

关键设计：PEFT-Factory的关键设计包括： 1. 模块化设计：框架采用模块化设计，方便用户添加新的PEFT方法、数据集和评估指标。 2. 标准化接口：框架定义了一套标准化的接口，使得不同的PEFT方法可以无缝集成。 3. 可配置性：框架提供了丰富的配置选项，允许用户根据自己的需求调整训练和评估流程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PEFT-Factory集成了19种PEFT方法和27个数据集，涵盖12个任务，提供了一个全面的PEFT微调基准。通过该框架，用户可以方便地比较不同PEFT方法的性能，并选择最适合自己任务的方法。该框架还提供了一套标准化的评估指标，方便用户评估微调后的模型性能。

🎯 应用场景

PEFT-Factory可应用于各种需要高效微调大型语言模型的场景，例如自然语言处理、文本生成、对话系统等。它可以帮助研究人员快速验证新的PEFT方法，并为实际应用选择合适的微调策略。该框架还有助于降低LLM微调的成本，使其更容易被广泛应用。

📄 摘要（原文）

Parameter-Efficient Fine-Tuning (PEFT) methods address the increasing size of Large Language Models (LLMs). Currently, many newly introduced PEFT methods are challenging to replicate, deploy, or compare with one another. To address this, we introduce PEFT-Factory, a unified framework for efficient fine-tuning LLMs using both off-the-shelf and custom PEFT methods. While its modular design supports extensibility, it natively provides a representative set of 19 PEFT methods, 27 classification and text generation datasets addressing 12 tasks, and both standard and PEFT-specific evaluation metrics. As a result, PEFT-Factory provides a ready-to-use, controlled, and stable environment, improving replicability and benchmarking of PEFT methods. PEFT-Factory is a downstream framework that originates from the popular LLaMA-Factory, and is publicly available at https://github.com/kinit-sk/PEFT-Factory