The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators

📄 arXiv: 2407.11004v2 📥 PDF

作者: Tzu-Heng Huang, Catherine Cao, Vaishnavi Bhargava, Frederic Sala

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-25 (更新: 2025-02-03)

备注: NeurIPS 2024 Spotlight Paper

💡 一句话要点

ALCHEmist：通过生成程序自动标注数据，成本仅为LLM标注的1/500

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据标注 大型语言模型 程序生成 自动化标注 低成本学习

📋 核心要点

  1. 现有方法直接使用大型语言模型进行数据标注，成本高昂，且标注结果难以审计和复用。
  2. Alchemist的核心思想是让大型模型生成可执行的标注程序，而非直接生成标签，从而降低成本并提高灵活性。
  3. 实验表明，Alchemist在多种任务上性能与LLM标注相当甚至更好，标注成本平均降低了500倍。

📝 摘要（中文）

大型预训练模型可用作标注器，以替代或增强众包工作者，并支持将通用模型提炼为更小的专用模型。然而，使用最先进的模型通常需要支付数千美元的API调用费用，并且生成的数据集是静态的，难以审计。为了解决这些挑战，我们提出了一种简单的替代方案：不直接从预训练模型查询标签，而是让模型生成可以产生标签的程序。这些程序可以本地存储和应用、重用和扩展，并且成本要低几个数量级。我们的系统Alchemist在各种任务中获得了与基于大型语言模型的标注相当或更好的性能，而成本仅为其一小部分：平均而言，性能提升了12.9%，同时所有数据集的总标注成本降低了约500倍。

🔬 方法详解

问题定义：论文旨在解决使用大型语言模型（LLM）进行数据标注时成本高昂、数据集静态且难以审计的问题。现有方法直接调用LLM的API进行标注，导致成本随着数据规模线性增长，并且标注结果难以修改和复用。

核心思路：论文的核心思路是利用LLM生成可以自动标注数据的程序，而不是直接使用LLM进行标注。这些程序可以本地运行，无需重复调用LLM的API，从而大幅降低标注成本。同时，生成的程序可以被存储、复用和扩展，提高了标注的灵活性和可审计性。

技术框架：Alchemist系统包含以下主要阶段：1) 程序生成：使用LLM生成用于标注数据的程序。2) 程序执行：在本地执行生成的程序，得到标注结果。3) 程序优化（可选）：根据标注结果对程序进行优化，提高标注质量。整个流程旨在用更低成本、更高效率的方式实现数据标注。

关键创新：最重要的技术创新点在于将LLM的应用从直接标注数据转变为生成标注程序。这种方法的本质区别在于，它将标注过程从一次性的API调用转变为可复用、可修改的本地程序执行，从而显著降低了标注成本，并提高了标注的灵活性和可控性。

关键设计：Alchemist的关键设计包括：1) 程序生成提示工程：设计合适的提示语，引导LLM生成高质量的标注程序。2) 程序执行环境：提供安全可靠的程序执行环境，确保程序的正确运行。3) 程序优化策略：采用合适的优化策略，例如基于标注结果的反馈学习，提高程序的标注精度。具体的参数设置、损失函数和网络结构等细节取决于具体的任务和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Alchemist在多个数据集上取得了与基于大型语言模型的标注相当或更好的性能。具体而言，平均性能提升了12.9%，同时总标注成本降低了约500倍。这些结果表明，Alchemist是一种高效且经济的数据标注解决方案。

🎯 应用场景

Alchemist可广泛应用于各种需要大量标注数据的机器学习任务，例如图像分类、文本分类、目标检测等。它尤其适用于资源受限的场景，例如小型研究团队或低成本的工业应用。该研究的成果有助于推动机器学习的普及，并促进更多创新应用的涌现。

📄 摘要（原文）

Large pretrained models can be used as annotators, helping replace or augment crowdworkers and enabling distilling generalist models into smaller specialist models. Unfortunately, this comes at a cost: employing top-of-the-line models often requires paying thousands of dollars for API calls, while the resulting datasets are static and challenging to audit. To address these challenges, we propose a simple alternative: rather than directly querying labels from pretrained models, we task models to generate programs that can produce labels. These programs can be stored and applied locally, re-used and extended, and cost orders of magnitude less. Our system, Alchemist, obtains comparable to or better performance than large language model-based annotation in a range of tasks for a fraction of the cost: on average, improvements amount to a 12.9% enhancement while the total labeling costs across all datasets are reduced by a factor of approximately 500x.