Efficiently Estimating Data Efficiency for Language Model Fine-tuning

📄 arXiv: 2512.24991v1 📥 PDF

作者: Gyung Hyun Je, Colin Raffel

分类: cs.LG

发布日期: 2025-12-31

💡 一句话要点

提出基于梯度余弦相似性的数据效率预测方法，减少LLM微调的标注成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型微调 数据效率 梯度余弦相似性 低置信度样本 标注成本

📋 核心要点

  1. 大型语言模型微调需要大量标注数据，但任务所需数据量往往未知，导致标注成本高昂。
  2. 论文提出利用少量标注样本，通过计算低置信度样本的梯度余弦相似性来预测数据效率。
  3. 实验表明，该方法能有效预测数据效率，显著减少不必要的标注，整体预测误差为8.6%。

📝 摘要（中文）

大型语言模型(LLM)在许多下游任务中表现出不错的零样本能力，但微调是提高其性能的常用方法。然而，任务的数据效率（即达到期望性能所需的微调样本数量）通常是未知的，导致增量标注和重新训练的成本高昂。本文通过一组精心挑选的30个专业任务，展示了高性能LLM可能在零样本学习中表现不佳，但在微调后可以获得更强的性能。这促使我们需要预测任务数据效率的方法，而无需增量标注。本文提出了一种具体的指标来量化任务的数据效率，并提出使用低置信度样本的梯度余弦相似性，基于少量标记样本来预测数据效率。在各种具有不同数据效率的任务上验证了该方法，在整体数据效率预测中达到了8.6%的误差，并且通常在每个任务上消除了数百个不必要的标注。实验结果和实现代码已在GitHub上提供。

🔬 方法详解

问题定义：论文旨在解决大型语言模型微调过程中，任务数据效率未知导致的标注成本高昂问题。现有方法需要通过增量标注和重新训练来确定合适的数据量，效率低下且成本过高。因此，如何仅使用少量数据就能准确预测任务的数据效率是关键挑战。

核心思路：论文的核心思路是利用模型在少量数据上训练后的梯度信息来预测数据效率。具体来说，通过计算模型在低置信度样本上的梯度余弦相似性，来衡量模型学习的难易程度。如果梯度方向一致性高，说明模型容易学习，数据效率高；反之，则数据效率低。

技术框架：整体框架包括以下几个步骤：1) 选取少量标注样本进行初步微调；2) 识别低置信度样本；3) 计算这些样本的梯度；4) 计算梯度之间的余弦相似性；5) 使用梯度余弦相似性预测数据效率。该框架无需额外的标注数据，仅依赖于模型自身的梯度信息。

关键创新：论文的关键创新在于提出了使用梯度余弦相似性来预测数据效率。与现有方法相比，该方法不需要进行多次增量标注和重新训练，大大降低了标注成本。此外，该方法利用了模型自身的梯度信息，能够更准确地反映任务的学习难度。

关键设计：论文的关键设计包括：1) 低置信度样本的选择：选择模型预测概率最低的样本，这些样本通常是模型难以学习的样本；2) 梯度余弦相似性的计算：计算所有低置信度样本梯度之间的平均余弦相似性，作为数据效率的预测指标；3) 数据效率的量化指标：论文定义了一个具体的数据效率指标，用于评估预测的准确性。具体指标的定义方式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在各种具有不同数据效率的任务上验证了该方法，在整体数据效率预测中达到了8.6%的误差，并且通常在每个任务上消除了数百个不必要的标注。这表明该方法能够有效预测数据效率，显著降低标注成本。

🎯 应用场景

该研究成果可应用于各种需要对大型语言模型进行微调的任务中，例如文本分类、问答系统、机器翻译等。通过预测任务的数据效率，可以有效减少标注成本，提高模型训练效率，加速LLM在各个领域的应用。

📄 摘要（原文）

While large language models (LLMs) demonstrate reasonable zero-shot capability across many downstream tasks, fine-tuning is a common practice to improve their performance. However, a task's data efficiency--i.e., the number of fine-tuning examples needed to achieve a desired level of performance--is often unknown, resulting in costly cycles of incremental annotation and retraining. Indeed, we demonstrate across a curated set of 30 specialized tasks that performant LLMs may struggle zero-shot but can attain stronger performance after fine-tuning. This motivates the need for methods to predict a task's data efficiency without requiring incremental annotation. After introducing a concrete metric that quantifies a task's data efficiency, we propose using the gradient cosine similarity of low-confidence examples to predict data efficiency based on a small number of labeled samples. We validate our approach on a diverse set of tasks with varying data efficiencies, attaining 8.6% error in overall data efficiency prediction and typically eliminating hundreds of unnecessary annotations on each task. Our experiment results and implementation code are available on GitHub.