Scaling Public Health Text Annotation: Zero-Shot Learning vs. Crowdsourcing for Improved Efficiency and Labeling Accuracy

📄 arXiv: 2502.06150v1 📥 PDF

作者: Kamyar Kazari, Yong Chen, Zahra Shakeri

分类: cs.CL

发布日期: 2025-02-10

备注: 4 pages, 1 figure

💡 一句话要点

探索LLM零样本学习在公共健康文本标注中的应用，提升效率并评估标注准确性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 大型语言模型 公共健康 文本标注 社交媒体分析

📋 核心要点

  1. 手动标注公共健康相关的社交媒体数据成本高昂，效率低下，阻碍了相关研究的进展。
  2. 利用大型语言模型（LLM）的零样本学习能力，探索其在公共健康文本标注中的潜力，旨在降低标注成本并提高效率。
  3. 通过对比领域专家、众包和LLM标注结果，评估LLM在不同任务难度下的性能，明确其适用范围。

📝 摘要（中文）

公共健康研究人员越来越关注利用社交媒体数据研究与健康相关的行为，但手动标注这些数据既费时又费力。本研究探讨了使用大型语言模型（LLM）进行零样本标注，在与睡眠障碍、身体活动和久坐行为相关的Twitter帖子中，其性能是否能与传统的众包标注相媲美甚至超越。研究设计了多个标注流程，比较了领域专家、众包工作者和LLM驱动方法在不同提示工程策略下产生的标签。研究结果表明，LLM在简单的分类任务中可以与人类的表现相媲美，并显著减少标注时间，但对于需要更细致领域知识的任务，其准确性会降低。这些结果阐明了自动化可扩展性和人类专业知识之间的权衡，展示了在不损害标签质量的前提下，基于LLM的标注可以高效地整合到公共健康研究中的条件。

🔬 方法详解

问题定义：论文旨在解决公共健康领域社交媒体文本数据标注成本高、效率低的问题。现有的人工标注方法，包括领域专家标注和众包标注，都存在耗时耗力的问题，难以满足大规模数据分析的需求。因此，需要探索一种更高效、更经济的标注方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）的零样本学习能力，直接对公共健康领域的社交媒体文本进行标注，无需额外的训练数据。通过精心设计的提示（Prompt Engineering），引导LLM理解标注任务，并生成相应的标签。

技术框架：整体流程包括：1) 数据收集：收集与睡眠障碍、身体活动和久坐行为相关的Twitter帖子；2) 标注流程设计：设计多个标注流程，包括领域专家标注、众包标注和LLM标注；3) 提示工程：针对LLM标注，设计不同的提示策略，以优化标注效果；4) 结果比较：比较不同标注方法的结果，评估LLM的性能。

关键创新：论文的关键创新在于探索了LLM零样本学习在公共健康文本标注中的应用，并对比了其与传统标注方法的性能。通过提示工程，优化了LLM的标注效果，使其在一定程度上可以媲美人类标注。

关键设计：论文的关键设计包括：1) 针对不同标注任务，设计不同的提示策略，例如，对于简单的分类任务，使用简单的提示；对于需要更细致领域知识的任务，使用更复杂的提示；2) 采用多种评价指标，全面评估LLM的标注性能，包括准确率、召回率、F1值等；3) 对比不同标注方法的时间成本，评估LLM的效率优势。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在简单的分类任务中，LLM的标注性能可以与人类相媲美，并显著减少标注时间。然而，对于需要更细致领域知识的任务，LLM的准确性会降低。通过对比不同提示策略，发现精心设计的提示可以有效提升LLM的标注性能。例如，在某些任务中，LLM的F1值可以达到与众包标注相近的水平。

🎯 应用场景

该研究成果可应用于公共卫生监测、健康行为干预、疾病传播预测等领域。通过高效的LLM标注，研究人员可以快速分析大量的社交媒体数据，及时了解公众的健康状况和行为模式，为制定有效的公共卫生政策提供依据。未来，该方法还可以扩展到其他健康相关领域，例如心理健康、药物滥用等。

📄 摘要（原文）

Public health researchers are increasingly interested in using social media data to study health-related behaviors, but manually labeling this data can be labor-intensive and costly. This study explores whether zero-shot labeling using large language models (LLMs) can match or surpass conventional crowd-sourced annotation for Twitter posts related to sleep disorders, physical activity, and sedentary behavior. Multiple annotation pipelines were designed to compare labels produced by domain experts, crowd workers, and LLM-driven approaches under varied prompt-engineering strategies. Our findings indicate that LLMs can rival human performance in straightforward classification tasks and significantly reduce labeling time, yet their accuracy diminishes for tasks requiring more nuanced domain knowledge. These results clarify the trade-offs between automated scalability and human expertise, demonstrating conditions under which LLM-based labeling can be efficiently integrated into public health research without undermining label quality.