The Effectiveness of LLMs as Annotators: A Comparative Overview and Empirical Analysis of Direct Representation

📄 arXiv: 2405.01299v2 📥 PDF

作者: Maja Pavlovic, Massimo Poesio

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-05-02 (更新: 2025-06-29)

备注: LREC-COLING NLPerspectives workshop

期刊: https://aclanthology.org/2024.nlperspectives-1.11/

💡 一句话要点

研究LLM作为标注器的有效性，对比分析直接表征方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数据标注 意见分布 主观任务 偏差分析

📋 核心要点

  1. 现有数据标注方法成本高昂且耗时，大型语言模型（LLM）被认为是潜在的替代方案，但其有效性尚需评估。
  2. 该研究直接从GPT获取意见分布，对比人类标注，从而更直接地评估LLM在主观数据标注任务中的表现。
  3. 通过对四个主观数据集的分析，揭示了LLM在意见分布生成方面与人类标注的差异，强调了进一步研究的必要性。

📝 摘要（中文）

大型语言模型（LLM）已成为各种自然语言任务和应用领域中强大的辅助工具。最近的研究集中于探索它们在数据标注方面的能力。本文对十二项研究进行了比较概述，这些研究调查了LLM在数据标注中的潜力。虽然这些模型显示出有希望的成本和时间节省优势，但仍存在相当大的局限性，例如代表性、偏差、对提示变化的敏感性和英语语言偏好。利用这些研究的见解，我们的实证分析进一步检验了人类和GPT生成的意见分布在四个主观数据集上的一致性。与检查表征的研究不同，我们的方法直接从GPT获得意见分布。因此，我们的分析支持少数在评估数据标注任务时考虑不同视角的的研究，并强调需要进一步研究。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）作为数据标注器的有效性，特别是在主观任务中。现有方法通常依赖于间接的表征比较，而忽略了LLM直接生成意见分布的能力。此外，现有研究对LLM的偏差、代表性和语言偏好等局限性关注不足。

核心思路：论文的核心思路是直接从LLM获取意见分布，并将其与人类标注的意见分布进行比较，从而更直接地评估LLM在主观数据标注任务中的表现。这种方法避免了间接表征比较可能引入的偏差，并能更准确地反映LLM的实际标注能力。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择四个主观数据集；2) 使用GPT等LLM直接生成意见分布；3) 获取人类标注的意见分布；4) 对比LLM和人类标注的意见分布，评估LLM的标注质量。研究没有涉及复杂的模型架构，而是侧重于实验设计和结果分析。

关键创新：该研究的关键创新在于直接从LLM获取意见分布，而不是依赖于间接的表征比较。这种方法能够更准确地评估LLM在主观数据标注任务中的表现，并揭示LLM的潜在偏差和局限性。

关键设计：研究的关键设计包括：1) 选择具有代表性的主观数据集，涵盖不同的领域和任务；2) 设计合适的提示语，引导LLM生成意见分布；3) 使用适当的指标，量化LLM和人类标注的意见分布之间的差异。具体的参数设置和损失函数等技术细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过直接比较LLM和人类标注的意见分布，揭示了LLM在主观数据标注任务中的局限性，例如对提示变化的敏感性和潜在的偏差。研究结果表明，在某些情况下，LLM生成的意见分布与人类标注存在显著差异，强调了在数据标注任务中谨慎使用LLM的必要性。具体的性能数据和提升幅度未在摘要中提及，属于未知信息。

🎯 应用场景

该研究成果可应用于自然语言处理领域的多个方面，例如情感分析、观点挖掘和文本分类。通过了解LLM作为标注器的优缺点，可以更有效地利用LLM进行数据标注，降低标注成本，提高标注效率。此外，该研究还可以帮助开发更可靠、更公平的LLM标注系统。

📄 摘要（原文）

Large Language Models (LLMs) have emerged as powerful support tools across various natural language tasks and a range of application domains. Recent studies focus on exploring their capabilities for data annotation. This paper provides a comparative overview of twelve studies investigating the potential of LLMs in labelling data. While the models demonstrate promising cost and time-saving benefits, there exist considerable limitations, such as representativeness, bias, sensitivity to prompt variations and English language preference. Leveraging insights from these studies, our empirical analysis further examines the alignment between human and GPT-generated opinion distributions across four subjective datasets. In contrast to the studies examining representation, our methodology directly obtains the opinion distribution from GPT. Our analysis thereby supports the minority of studies that are considering diverse perspectives when evaluating data annotation tasks and highlights the need for further research in this direction.