When Parts Are Greater Than Sums: Individual LLM Components Can Outperform Full Models
作者: Ting-Yun Chang, Jesse Thomason, Robin Jia
分类: cs.CL
发布日期: 2024-06-19 (更新: 2024-10-06)
备注: EMNLP 2024
💡 一句话要点
通过重加权LLM内部组件，提升小样本学习分类任务性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文学习 组件重加权 小样本学习 大语言模型 模型内部结构
📋 核心要点
- 现有大语言模型在上下文学习中表现不佳，组件之间存在差异，部分组件性能优异，但整体模型效果受限。
- 论文提出组件重加权方法，通过学习重新缩放组件激活，优化模型输出，提升分类任务准确率。
- 实验表明，该方法在Llama-2-7B模型上，使用少量样本即可显著提升多个任务的平均准确率，效果显著。
📝 摘要（中文）
本文通过将大型语言模型的输出分解为注意力头和MLP（组件）的独立贡献，来研究上下文学习。我们观察到了一些有趣的组件：表现良好的组件，即使在模型整体表现不佳时，也能在分类任务上表现出色；表现不佳的组件，其性能远低于随机水平；以及标签偏见组件，总是预测相同的标签。我们发现，组件的准确率在不同的演示集和提示模板的扰动下具有良好的相关性。基于这些发现，我们提出了组件重加权方法，该方法学习从少量标记示例中线性地重新缩放组件激活。在Llama-2-7B上，给定24个标记示例，我们的方法在8个任务上的平均准确率比24-shot ICL提高了6.0%。总的来说，本文通过检查模型内部结构，既丰富了我们对ICL的理解，又提供了一种实用的改进方法。
🔬 方法详解
问题定义：现有的大语言模型在上下文学习（In-Context Learning, ICL）中，虽然整体表现出一定的能力，但其内部组件（如注意力头和MLP层）的贡献并不均衡。部分组件可能表现良好，而另一些组件则表现不佳，甚至存在标签偏见。这种不均衡性限制了模型整体的性能，尤其是在小样本学习场景下。现有方法难以有效利用模型内部的组件信息，导致性能瓶颈。
核心思路：论文的核心思路是，通过分析和利用大语言模型内部组件的独立贡献，来提升模型的上下文学习能力。具体来说，就是识别出那些在特定任务上表现良好的组件，并赋予它们更高的权重，同时降低那些表现不佳或带有偏见的组件的权重。这种组件级别的重加权可以有效地优化模型的输出，从而提高分类任务的准确率。
技术框架：整体框架包括以下几个主要步骤：1) 组件分解：将大语言模型的输出分解为各个注意力头和MLP层的独立贡献。2) 组件评估：评估每个组件在特定任务上的表现，例如准确率。3) 权重学习：使用少量标记示例，学习每个组件的权重，目标是最大化模型的整体性能。4) 组件重加权：根据学习到的权重，重新缩放每个组件的激活，然后将它们组合起来，得到最终的预测结果。
关键创新：最重要的技术创新点在于，它打破了将大语言模型视为黑盒的传统做法，深入研究了模型内部组件的贡献。通过组件级别的分析和重加权，可以更有效地利用模型内部的信息，从而提升模型的性能。与现有方法相比，该方法更加精细化，能够更好地适应不同的任务和数据集。
关键设计：关键设计包括：1) 组件激活的提取方法：如何准确地提取每个组件的激活值。2) 权重学习的目标函数：如何设计一个合适的损失函数，来学习每个组件的权重。论文采用线性重加权的方式，学习一个线性变换矩阵，将组件的激活值进行重新缩放。3) 超参数的选择：例如，学习率、正则化系数等。论文使用少量（24个）标注样本进行权重学习，并验证了该方法在不同任务上的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在Llama-2-7B模型上，使用24个标记示例进行组件重加权后，在8个不同的分类任务上的平均准确率比24-shot ICL提高了6.0%。这一结果表明，该方法能够有效地利用模型内部的组件信息，提升模型的性能。此外，论文还发现组件的准确率在不同的演示集和提示模板的扰动下具有良好的相关性，这进一步验证了该方法的鲁棒性。
🎯 应用场景
该研究成果可应用于各种需要小样本学习的分类任务，例如：医疗诊断、金融风控、自然语言处理等领域。通过对预训练语言模型内部组件的分析和优化，可以提升模型在资源受限场景下的性能，降低对大量标注数据的依赖，具有重要的实际应用价值和潜力。未来可以进一步探索非线性重加权方法，以及将该方法应用于其他类型的任务和模型。
📄 摘要（原文）
This paper studies in-context learning by decomposing the output of large language models into the individual contributions of attention heads and MLPs (components). We observe curious components: good-performing ones that individually do well on a classification task, even when the model performs poorly; bad-performing ones that do much worse than chance; and label-biased components that always predict the same label. We find that component accuracies are well-correlated across different demonstration sets and perturbations of prompt templates. Based on our findings, we propose component reweighting, which learns to linearly re-scale the component activations from a few labeled examples. Given 24 labeled examples, our method improves by an average of 6.0% accuracy points over 24-shot ICL across 8 tasks on Llama-2-7B. Overall, this paper both enriches our understanding of ICL and provides a practical method for improvement by examining model internals.