BEFT: Bias-Efficient Fine-Tuning of Language Models

📄 arXiv: 2509.15974v1 📥 PDF

作者: Baichuan Huang, Ananth Balashankar, Amir Aminifar

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-09-19

💡 一句话要点

BEFT：一种偏置高效的语言模型微调方法，提升低数据场景性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 偏置项微调 大型语言模型 低数据学习 模型优化

📋 核心要点

  1. 现有偏置项微调方法缺乏对不同偏置项重要性的区分，导致微调效率低下，难以在低数据场景下取得最佳性能。
  2. BEFT的核心思想是选择对下游任务影响最大的偏置项进行微调，从而在参数效率和性能之间取得更好的平衡。
  3. 实验结果表明，BEFT在多种大型语言模型和下游任务上优于其他偏置项选择方法，证明了其有效性和优越性。

📝 摘要（中文）

本文提出了一种偏置高效微调（BEFT）方法，旨在解决现有参数高效微调（PEFT）技术中，特别是全偏置项微调时，对不同偏置项（如query、key或value投影中的偏置项）微调与下游任务性能之间关系不明确的问题。现有方法，例如基于偏置变化幅度或经验Fisher信息的方法，在选择用于有效微调的特定偏置项时提供的指导有限。BEFT通过选择合适的偏置项进行微调，实现了更高的参数效率。在包括编码器和解码器架构的1.1亿到67亿参数的大型语言模型上，针对分类、多项选择和生成等多种下游任务，BEFT的有效性和优越性得到了广泛验证。

🔬 方法详解

问题定义：现有参数高效微调方法，特别是全偏置项微调，虽然易于使用且性能有竞争力，但在低数据场景下，对不同偏置项的微调效果缺乏明确的指导。现有方法（如基于偏置变化幅度或经验Fisher信息）难以有效选择用于微调的特定偏置项，导致微调效率不高。

核心思路：BEFT的核心思路是通过某种策略选择对下游任务性能影响最大的偏置项进行微调。通过只微调最重要的偏置项，可以在保证性能的同时，显著提高参数效率。这种选择策略是BEFT的关键。

技术框架：BEFT方法主要包含两个阶段：偏置项选择阶段和微调阶段。在偏置项选择阶段，使用论文提出的方法评估不同偏置项对下游任务的影响。然后，选择影响最大的偏置项。在微调阶段，只微调选择的偏置项，而保持其他参数不变。

关键创新：BEFT的关键创新在于提出了一种新的偏置项选择方法，该方法能够更准确地评估不同偏置项对下游任务的影响。与现有方法相比，BEFT的选择方法能够更好地识别出对性能至关重要的偏置项。

关键设计：具体的偏置项选择方法细节未知，论文中可能涉及特定的评分函数或选择算法来确定哪些偏置项应该被微调。损失函数通常是标准的交叉熵损失或其他适用于特定下游任务的损失函数。网络结构取决于所使用的大型语言模型（例如，Transformer）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BEFT在多种大型语言模型（110M到6.7B参数）和下游任务（分类、多项选择和生成）上优于其他偏置项选择方法。具体的性能提升数据未知，但论文强调了BEFT在参数效率和性能方面的优越性。

🎯 应用场景

BEFT可应用于各种需要高效微调大型语言模型的场景，例如资源受限的环境、快速原型设计和持续学习。它能够降低微调成本，提高开发效率，并促进大型语言模型在更广泛的应用场景中的部署。例如，在移动设备上部署LLM，或者在数据量有限的特定领域进行模型定制。

📄 摘要（原文）

Fine-tuning all-bias-terms stands out among various parameter-efficient fine-tuning (PEFT) techniques, owing to its out-of-the-box usability and competitive performance, especially in low-data regimes. Bias-only fine-tuning has the potential for unprecedented parameter efficiency. However, the link between fine-tuning different bias terms (i.e., bias terms in the query, key, or value projections) and downstream performance remains unclear. The existing approaches, e.g., based on the magnitude of bias change or empirical Fisher information, provide limited guidance for selecting the particular bias term for effective fine-tuning. In this paper, we propose an approach for selecting the bias term to be fine-tuned, forming the foundation of our bias-efficient fine-tuning (BEFT). We extensively evaluate our bias-efficient approach against other bias-selection approaches, across a wide range of large language models (LLMs) spanning encoder-only and decoder-only architectures from 110M to 6.7B parameters. Our results demonstrate the effectiveness and superiority of our bias-efficient approach on diverse downstream tasks, including classification, multiple-choice, and generation tasks.