Data-Efficient Adaptation of LLMs via Attention Head Reweighting

📄 arXiv: 2607.13425v1 📥 PDF

作者: Tuomas Oikarinen, Zixiao Chen, Charlotte Siska, Tsui-Wei Weng, Chandan Singh, Jianfeng Gao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-15

备注: Published in COLM 2026

💡 一句话要点

提出注意力头重标定方法以解决LLMs数据高效适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据高效学习 注意力机制 文本分类 参数高效适应

📋 核心要点

  1. 现有的大型语言模型在面对少量样本的复杂任务时，仍然难以实现有效的学习，尤其是在数据稀缺的领域。
  2. 本文提出的注意力头重标定（AHR）方法，通过仅调整每个注意力头的单一标量，实现了对新任务的高效适应。
  3. 实验结果显示，AHR在有限样本学习中表现优于LoRA等标准基线，且可训练参数数量减少至200-1000倍。

📝 摘要（中文）

在数据稀缺的领域，如安全，如何有效学习至关重要。大型语言模型（LLMs）在数据高效学习方面展现了一定能力，尤其是通过参数高效的适应方法，但在面对少量样本的困难任务时仍然存在挑战。为此，本文提出了一种名为注意力头重标定（AHR）的方法，通过仅学习每个注意力头的单一标量，来适应新的文本分类任务。这大幅减少了需要学习的参数数量，利用了各个注意力头的功能专门化。实验结果表明，AHR在有限样本学习中优于标准基线方法，如LoRA，尽管其可训练参数少达200-1000倍，AHR仅修改了约0.0001%的模型参数。此外，学习到的权重易于解释，有助于分析LLMs在上下文学习能力方面的机制和注意力头。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在数据稀缺情况下的学习效率问题。现有方法在面对少量样本时，往往需要调整大量参数，导致学习效率低下。

核心思路：提出注意力头重标定（AHR）方法，通过学习每个注意力头的单一标量，利用注意力头的功能专门化，显著减少需要学习的参数数量。

技术框架：AHR方法的整体架构包括三个主要模块：首先是对每个注意力头进行重标定，其次是将重标定的结果应用于新任务的文本分类，最后是通过优化学习过程来提高模型性能。

关键创新：AHR的核心创新在于其通过极少的参数调整实现了对大型语言模型的有效适应，这与传统方法需要大量参数调整的方式本质上不同。

关键设计：在参数设置上，AHR仅修改约0.0001%的模型参数，且采用简单的标量学习方式，损失函数设计上注重于提高分类准确性，确保模型在有限样本下的学习能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，AHR在有限样本学习中显著优于LoRA等标准基线，尽管可训练参数减少至200-1000倍，AHR依然能够实现较高的分类准确率，展示了其在数据高效学习中的潜力。

🎯 应用场景

该研究的潜在应用领域包括安全、医疗和金融等数据稀缺的领域，能够帮助在这些领域中快速适应新任务，提升模型的实用性和效率。未来，AHR方法可能会推动更多高效学习算法的发展，促进智能系统在复杂环境中的应用。

📄 摘要（原文）

Learning effectively from limited data is critical in domains like security where labeled examples are scarce. Large language models (LLMs) have demonstrated some capabilities for data-efficient learning, especially through parameter-efficient adaptation methods, but continue to struggle when faced with few samples for difficult tasks. To meet this challenge, we propose Attention Head Reweighting (AHR), a data-efficient method that adapts LLMs to new text-classification tasks by learning only a single scalar per attention head. This drastically reduces the number of parameters that need to be learned by making use of the functional specialization of individual attention heads. Experiments on diverse open-source text classification datasets show that AHR can outperform standard baselines like LoRA when learning from limited samples, despite having 200-1000x fewer trainable parameters, as our AHR only modifies ~0.0001% of the model's parameters. In addition, our learned weights are easy to interpret and can be analyzed to better understand the mechanisms and attention heads responsible for in-context learning abilities in LLMs.