Efficiently Estimating Data Efficiency for Language Model Fine-tuning

📄 arXiv: 2512.24991v1 📥 PDF

作者: Gyung Hyun Je, Colin Raffel

分类: cs.LG

发布日期: 2025-12-31

💡 一句话要点

提出基于梯度余弦相似性的数据效率预测方法，减少LLM微调的标注成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据效率 语言模型微调 梯度余弦相似性 低置信度样本 标注成本

📋 核心要点

  1. 大型语言模型微调需要大量标注数据，但任务的数据效率未知，导致标注成本高昂。
  2. 提出利用少量标注样本，通过计算低置信度样本的梯度余弦相似性来预测数据效率。
  3. 实验表明，该方法能有效预测数据效率，减少不必要的标注，整体数据效率预测误差为8.6%。

📝 摘要（中文）

大型语言模型（LLM）在许多下游任务中表现出不错的零样本能力，但微调是提高其性能的常用方法。然而，任务的数据效率（即达到期望性能所需的微调样本数量）通常是未知的，导致增量标注和重新训练的成本高昂。本文通过一组精心挑选的30个专业任务，展示了高性能LLM可能在零样本学习中表现不佳，但在微调后可以获得更强的性能。这促使我们需要预测任务的数据效率，而无需增量标注。本文提出了一种具体的指标来量化任务的数据效率，并提出使用低置信度样本的梯度余弦相似性，基于少量标记样本来预测数据效率。在各种具有不同数据效率的任务上验证了该方法，在整体数据效率预测中达到了8.6%的误差，并且通常在每个任务上消除了数百个不必要的标注。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）微调过程中，由于任务数据效率未知而导致的标注成本高昂问题。现有方法需要通过增量标注和重新训练来确定最佳的微调数据量，效率低下且成本很高。因此，如何仅使用少量数据就能准确预测任务的数据效率是关键挑战。

核心思路：论文的核心思路是利用模型在少量数据上训练后的梯度信息来预测数据效率。具体来说，作者认为，如果模型在少量数据上训练后，对低置信度样本的梯度方向一致性较高，则表明该任务的数据效率较高，反之则较低。这是因为数据效率高的任务，模型更容易从少量数据中学习到通用的特征表示。

技术框架：该方法主要包含以下几个阶段：1) 选取少量已标注的样本；2) 使用这些样本对LLM进行微调；3) 选择模型预测置信度较低的样本；4) 计算这些低置信度样本的梯度；5) 计算梯度之间的余弦相似度；6) 使用梯度余弦相似度来预测任务的数据效率。整体流程简单高效，易于实现。

关键创新：该方法最重要的创新点在于利用梯度余弦相似度来表征任务的数据效率。与传统的基于性能指标（如准确率）的评估方法不同，该方法直接从模型的梯度信息入手，能够更早地预测数据效率，从而避免了不必要的标注和训练。此外，该方法只需要少量标注数据，即可进行预测，大大降低了标注成本。

关键设计：关键设计包括：1) 低置信度样本的选择策略：作者可能采用阈值法或Top-K法来选择置信度较低的样本；2) 梯度计算方式：需要明确是计算哪个层或哪些层的梯度，以及如何对梯度进行归一化；3) 梯度余弦相似度的计算方式：需要明确是计算所有梯度对之间的平均余弦相似度，还是采用其他统计量；4) 数据效率的预测模型：可能使用线性回归或更复杂的模型，将梯度余弦相似度映射到数据效率。

📊 实验亮点

实验结果表明，该方法在预测数据效率方面表现出色，整体数据效率预测误差仅为8.6%。与传统的增量标注方法相比，该方法能够显著减少不必要的标注，平均每个任务可以节省数百个标注样本。这些结果表明，该方法具有很高的实用价值，可以有效降低LLM微调的成本。

🎯 应用场景

该研究成果可广泛应用于自然语言处理领域，尤其是在需要对大型语言模型进行微调的场景中。例如，可以帮助企业或研究机构在有限的标注预算下，选择最具数据效率的任务进行微调，从而最大化模型的性能提升。此外，该方法还可以用于自动评估数据集的质量，帮助用户选择更适合模型训练的数据集。

📄 摘要（原文）

While large language models (LLMs) demonstrate reasonable zero-shot capability across many downstream tasks, fine-tuning is a common practice to improve their performance. However, a task's data efficiency--i.e., the number of fine-tuning examples needed to achieve a desired level of performance--is often unknown, resulting in costly cycles of incremental annotation and retraining. Indeed, we demonstrate across a curated set of 30 specialized tasks that performant LLMs may struggle zero-shot but can attain stronger performance after fine-tuning. This motivates the need for methods to predict a task's data efficiency without requiring incremental annotation. After introducing a concrete metric that quantifies a task's data efficiency, we propose using the gradient cosine similarity of low-confidence examples to predict data efficiency based on a small number of labeled samples. We validate our approach on a diverse set of tasks with varying data efficiencies, attaining 8.6% error in overall data efficiency prediction and typically eliminating hundreds of unnecessary annotations on each task. Our experiment results and implementation code are available on GitHub.