Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations

📄 arXiv: 2410.17099v1 📥 PDF

作者: Jiyi Li

分类: cs.CL, cs.HC, cs.LG

发布日期: 2024-10-22

备注: Accepted in EMNLP 2024

💡 一句话要点

提出Human-LLM混合文本答案聚合方法，提升众包标注质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 众包标注 答案聚合 大型语言模型 文本标注 人机协作

📋 核心要点

  1. 现有众包标注答案聚合方法主要关注类别标签，缺乏对文本答案聚合以及LLM作为聚合器的深入研究。
  2. 提出一种Human-LLM混合文本答案聚合方法，利用LLM的文本理解和生成能力，提升聚合质量。
  3. 采用Creator-Aggregator Multi-Stage (CAMS)众包框架，实验结果验证了该方法在提升众包标注质量方面的有效性。

📝 摘要（中文）

众包标注中，标注质量至关重要。答案聚合是一种重要的解决方案，它通过整合多个众包答案来获得最终标注，而非直接采用单个答案。近年来，大型语言模型（LLM）在数据标注任务中的能力引起了研究者的兴趣。现有研究主要关注个体众包工作者的平均表现，少数研究探讨了类别标签的聚合以及LLM作为标签创建者的情况。然而，文本答案的聚合以及LLM作为聚合器的作用尚未得到充分研究。本文研究了LLM在封闭式众包文本答案聚合场景中作为聚合器的能力。我们提出了一种Human-LLM混合文本答案聚合方法，并采用Creator-Aggregator Multi-Stage (CAMS)众包框架。基于公开众包数据集的实验结果表明，该方法在众包工作者和LLM的协作下是有效的。

🔬 方法详解

问题定义：论文旨在解决众包文本标注中答案聚合的问题。现有方法，尤其是针对文本答案的聚合，研究较少。此外，如何有效利用LLM的强大能力来提升文本答案聚合的质量是一个挑战。现有方法可能无法充分利用LLM的文本理解和生成能力，导致聚合效果不佳。

核心思路：论文的核心思路是结合人类标注者和LLM的优势，提出一种Human-LLM混合文本答案聚合方法。人类标注者提供原始答案，LLM作为聚合器，利用其强大的文本理解和生成能力，对这些答案进行整合和提炼，从而获得更准确、更可靠的最终答案。这种混合方法旨在克服传统方法中对LLM利用不足的问题。

技术框架：论文采用Creator-Aggregator Multi-Stage (CAMS)众包框架。在该框架下，众包工作者作为“创建者”提供原始文本答案，LLM作为“聚合器”对这些答案进行整合。具体流程可能包含以下阶段：1) 收集多个众包工作者对同一问题的文本答案；2) 将这些答案输入到LLM中；3) LLM对这些答案进行分析、比较和整合；4) LLM生成一个聚合后的最终答案。

关键创新：该方法最重要的创新点在于将LLM作为文本答案的聚合器，并将其与人类标注者相结合。这与现有研究中主要关注LLM作为标签创建者或类别标签聚合的思路不同。通过利用LLM的文本理解和生成能力，可以更有效地整合多个众包答案，从而提高标注质量。

关键设计：论文中可能涉及的关键设计包括：1) 如何设计LLM的prompt，使其能够有效地理解和整合众包答案；2) 如何评估LLM生成的聚合答案的质量；3) 如何平衡人类标注者和LLM在聚合过程中的作用；4) 具体的LLM选择，以及针对特定任务的微调策略（如果使用）。这些细节在原文中可能没有明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文实验结果表明，提出的Human-LLM混合文本答案聚合方法在公开众包数据集上取得了良好的效果。具体的性能数据、对比基线和提升幅度需要在论文中查找，目前信息未知。但总体而言，该方法验证了LLM作为文本答案聚合器的有效性，并为提升众包标注质量提供了一种新的思路。

🎯 应用场景

该研究成果可广泛应用于需要高质量文本标注的领域，例如自然语言处理、信息检索、机器翻译等。通过提升众包标注的质量，可以降低数据获取成本，提高模型训练效果，加速相关技术的研发和应用。未来，该方法有望应用于更复杂的文本标注任务，例如开放式问答、文本摘要等。

📄 摘要（原文）

The quality is a crucial issue for crowd annotations. Answer aggregation is an important type of solution. The aggregated answers estimated from multiple crowd answers to the same instance are the eventually collected annotations, rather than the individual crowd answers themselves. Recently, the capability of Large Language Models (LLMs) on data annotation tasks has attracted interest from researchers. Most of the existing studies mainly focus on the average performance of individual crowd workers; several recent works studied the scenarios of aggregation on categorical labels and LLMs used as label creators. However, the scenario of aggregation on text answers and the role of LLMs as aggregators are not yet well-studied. In this paper, we investigate the capability of LLMs as aggregators in the scenario of close-ended crowd text answer aggregation. We propose a human-LLM hybrid text answer aggregation method with a Creator-Aggregator Multi-Stage (CAMS) crowdsourcing framework. We make the experiments based on public crowdsourcing datasets. The results show the effectiveness of our approach based on the collaboration of crowd workers and LLMs.