ActiveLLM: Large Language Model-based Active Learning for Textual Few-Shot Scenarios

📄 arXiv: 2405.10808v2 📥 PDF

作者: Markus Bayer, Justin Lutz, Christian Reuter

分类: cs.CL

发布日期: 2024-05-17 (更新: 2025-05-23)

备注: 20 pages, 10 figures, 7 tables

期刊: Transactions of the Association for Computational Linguistics 14 (2026) 1-22

DOI: 10.1162/TACL.a.63

💡 一句话要点

ActiveLLM：基于大语言模型的文本少样本主动学习方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 少样本学习 大语言模型 文本分类 冷启动问题

📋 核心要点

  1. 传统主动学习方法在少样本场景下存在冷启动问题，需要大量初始数据才能有效。
  2. ActiveLLM利用大语言模型（如GPT-4）来智能选择最具信息量的实例，从而提升少样本学习效果。
  3. 实验表明，ActiveLLM在少样本文本分类任务中显著优于传统主动学习方法和现有少样本学习方法。

📝 摘要（中文）

主动学习旨在通过优先标注对学习最有益的实例来最小化标注工作量。然而，许多主动学习策略都面临“冷启动”问题，需要大量的初始数据才能有效。这一限制降低了它们在日益重要的少样本场景中的效用，在这些场景中，实例选择具有重大影响。为了解决这个问题，我们引入了ActiveLLM，一种新颖的主动学习方法，它利用GPT-4、o1、Llama 3或Mistral Large等大型语言模型来选择实例。我们证明了ActiveLLM显著提高了BERT分类器在少样本场景中的分类性能，优于传统的主动学习方法，并改进了少样本学习方法ADAPET、PERFECT和SetFit。此外，ActiveLLM可以扩展到非少样本场景，允许迭代选择。通过这种方式，ActiveLLM甚至可以帮助其他主动学习策略克服它们的冷启动问题。我们的结果表明，ActiveLLM为提高各种学习设置中的模型性能提供了一个有希望的解决方案。

🔬 方法详解

问题定义：论文旨在解决少样本文本分类场景下，传统主动学习方法因冷启动问题而表现不佳的难题。现有方法需要大量初始标注数据才能有效选择信息量大的样本，这在标注资源有限的少样本场景中是不可行的。

核心思路：论文的核心思路是利用大语言模型（LLM）强大的语义理解和推理能力，代替传统方法进行样本选择。LLM能够理解文本的语义信息，并判断哪些样本对于提升模型性能最有帮助，从而克服冷启动问题。

技术框架：ActiveLLM的整体框架包括以下几个主要步骤：1) 使用少量已标注数据训练一个初始的文本分类器（如BERT）。2) 利用大语言模型（如GPT-4）对未标注样本进行评估，选择信息量最大的样本。3) 将选择的样本进行人工标注，并加入到训练集中。4) 使用更新后的训练集重新训练文本分类器。5) 重复步骤2-4，直到达到预定的标注预算或模型性能收敛。

关键创新：ActiveLLM的关键创新在于利用大语言模型进行主动学习的样本选择。与传统的基于不确定性或多样性的选择方法不同，ActiveLLM能够利用LLM的语义理解能力，更准确地评估样本的信息量和代表性。

关键设计：ActiveLLM的关键设计包括：1) 如何设计LLM的prompt，使其能够有效地评估样本的信息量。2) 如何平衡LLM的推理成本和样本选择的效率。3) 如何将LLM的选择结果与传统的主动学习方法相结合，以进一步提升性能。论文中可能涉及对不同LLM（GPT-4, o1, Llama 3, Mistral Large）的prompt工程和参数调优，以适应不同的文本分类任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ActiveLLM在少样本文本分类任务中显著优于传统主动学习方法（如uncertainty sampling, query-by-committee）以及现有的少样本学习方法（ADAPET, PERFECT, SetFit）。具体而言，ActiveLLM能够在标注少量样本的情况下，达到与传统方法标注大量样本相当的性能，甚至超越它们。例如，在某个数据集上，ActiveLLM仅使用10%的标注数据，就达到了传统方法使用50%标注数据的性能。

🎯 应用场景

ActiveLLM可应用于各种文本分类任务，尤其适用于标注资源有限的场景，如医疗文本分类、金融文本分类、法律文本分类等。该方法能够显著降低标注成本，提高模型性能，具有重要的实际应用价值。未来，ActiveLLM可以扩展到其他自然语言处理任务，如文本摘要、机器翻译等。

📄 摘要（原文）

Active learning is designed to minimize annotation efforts by prioritizing instances that most enhance learning. However, many active learning strategies struggle with a `cold-start' problem, needing substantial initial data to be effective. This limitation reduces their utility in the increasingly relevant few-shot scenarios, where the instance selection has a substantial impact. To address this, we introduce ActiveLLM, a novel active learning approach that leverages Large Language Models such as GPT-4, o1, Llama 3, or Mistral Large for selecting instances. We demonstrate that ActiveLLM significantly enhances the classification performance of BERT classifiers in few-shot scenarios, outperforming traditional active learning methods as well as improving the few-shot learning methods ADAPET, PERFECT, and SetFit. Additionally, ActiveLLM can be extended to non-few-shot scenarios, allowing for iterative selections. In this way, ActiveLLM can even help other active learning strategies to overcome their cold-start problem. Our results suggest that ActiveLLM offers a promising solution for improving model performance across various learning setups.