BEFT: Bias-Efficient Fine-Tuning of Language Models

📄 arXiv: 2509.15974v1 📥 PDF

作者: Baichuan Huang, Ananth Balashankar, Amir Aminifar

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-19

💡 一句话要点

BEFT：一种高效偏置项微调方法，提升语言模型在低数据场景下的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 偏置项微调 大型语言模型 模型微调 自然语言处理

📋 核心要点

  1. 现有偏置项微调方法缺乏有效指导，难以选择合适的偏置项以优化下游任务性能。
  2. BEFT通过选择合适的偏置项进行微调，从而提高参数效率和下游任务性能。
  3. 实验结果表明，BEFT在多种LLM和下游任务中优于其他偏置选择方法。

📝 摘要（中文）

本文提出了一种高效的偏置项微调方法（BEFT），旨在解决现有参数高效微调（PEFT）技术中，特别是偏置项微调时，如何选择合适的偏置项以获得最佳下游任务性能的问题。尽管全偏置项微调因其易用性和竞争力而备受关注，但不同偏置项（如查询、键或值投影中的偏置项）的微调与下游性能之间的关系尚不明确。现有方法，如基于偏置变化幅度或经验Fisher信息的方法，在选择有效微调的特定偏置项方面提供的指导有限。本文通过选择合适的偏置项进行微调，构建了BEFT的基础。在包含编码器和解码器架构、参数规模从1.1亿到67亿的大型语言模型上，我们广泛评估了BEFT与其他偏置选择方法。结果表明，BEFT在分类、多项选择和生成等各种下游任务中均表现出有效性和优越性。

🔬 方法详解

问题定义：现有参数高效微调方法中，全偏置项微调虽然易用且性能有竞争力，但不同偏置项对下游任务的影响尚不明确。现有方法（如基于偏置变化幅度或Fisher信息）在选择用于微调的特定偏置项时指导性不足，导致效率低下。

核心思路：BEFT的核心在于提出一种选择策略，能够根据某种指标或算法，确定哪些偏置项的微调能够带来最大的性能提升。通过只微调这些关键偏置项，可以显著提高参数效率，同时保持甚至提升模型性能。

技术框架：BEFT方法主要包含两个阶段：1）偏置项选择阶段：使用提出的选择策略，评估不同偏置项的重要性，并选择一部分进行微调。2）微调阶段：仅对选择的偏置项进行微调，优化模型在下游任务上的性能。整体框架简洁高效，易于实现。

关键创新：BEFT的关键创新在于提出了有效的偏置项选择策略。该策略可能基于某种梯度信息、激活统计或其他与任务相关的指标，用于评估不同偏置项对模型性能的贡献。通过这种选择机制，BEFT能够避免对所有偏置项进行盲目微调，从而提高效率。

关键设计：具体的偏置项选择策略是BEFT的关键设计。论文中可能详细描述了用于评估偏置项重要性的指标，以及选择偏置项的具体算法。此外，微调阶段的学习率、优化器等超参数设置也可能对最终性能产生影响。具体的损失函数取决于下游任务的类型（分类、生成等）。

📊 实验亮点

实验结果表明，BEFT在多种大型语言模型（参数规模从1.1亿到67亿）和下游任务（分类、多项选择和生成）中均优于其他偏置选择方法。具体的性能提升数据未知，但摘要强调了BEFT的有效性和优越性。

🎯 应用场景

BEFT可应用于各种大型语言模型的微调，尤其是在计算资源有限或数据量较少的场景下。该方法能够提高微调效率，降低成本，并提升模型在下游任务上的性能。潜在应用领域包括自然语言处理、文本生成、对话系统等。

📄 摘要（原文）

Fine-tuning all-bias-terms stands out among various parameter-efficient fine-tuning (PEFT) techniques, owing to its out-of-the-box usability and competitive performance, especially in low-data regimes. Bias-only fine-tuning has the potential for unprecedented parameter efficiency. However, the link between fine-tuning different bias terms (i.e., bias terms in the query, key, or value projections) and downstream performance remains unclear. The existing approaches, e.g., based on the magnitude of bias change or empirical Fisher information, provide limited guidance for selecting the particular bias term for effective fine-tuning. In this paper, we propose an approach for selecting the bias term to be fine-tuned, forming the foundation of our bias-efficient fine-tuning (BEFT). We extensively evaluate our bias-efficient approach against other bias-selection approaches, across a wide range of large language models (LLMs) spanning encoder-only and decoder-only architectures from 110M to 6.7B parameters. Our results demonstrate the effectiveness and superiority of our bias-efficient approach on diverse downstream tasks, including classification, multiple-choice, and generation tasks.