Can LLMs Assist Annotators in Identifying Morality Frames? -- Case Study on Vaccination Debate on Social Media

📄 arXiv: 2502.01991v2 📥 PDF

作者: Tunazzina Islam, Dan Goldwasser

分类: cs.CL, cs.AI, cs.CY, cs.HC, cs.SI

发布日期: 2025-02-04 (更新: 2025-02-05)

备注: Accepted at 17th ACM Web Science Conference 2025 (WebSci'25)

💡 一句话要点

利用大型语言模型辅助标注员识别社交媒体疫苗辩论中的道德框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 道德框架识别 社交媒体分析 人机协作 少样本学习

📋 核心要点

  1. 人工标注道德框架任务面临数据稀缺、任务复杂和认知负荷高等挑战，导致标注成本高、效率低且一致性差。
  2. 该研究提出利用大型语言模型（LLM）的少样本学习能力，辅助人工标注员识别社交媒体疫苗辩论中的道德框架。
  3. 实验结果表明，集成LLM到标注流程中能够提升标注准确率，降低任务难度和认知负荷，促进人机协作。

📝 摘要（中文）

社交媒体在塑造公共舆论方面发挥着关键作用，尤其是在疫苗等极具争议的问题上，不同的道德视角影响着个人观点。在自然语言处理领域，数据稀缺和心理语言学任务（如识别道德框架）的复杂性，使得完全依赖人工标注员成本高昂、耗时，并且容易因认知负荷而产生不一致性。为了解决这些问题，我们利用大型语言模型（LLM），通过少样本学习来适应新任务，结合少量上下文示例和解释，将示例与任务原则联系起来。我们的研究探索了LLM在协助人工标注员识别社交媒体上疫苗辩论中的道德框架的潜力。我们采用了一个两步过程：使用LLM生成概念和解释，然后使用“边想边说”工具进行人工评估。研究表明，将LLM集成到标注过程中可以提高准确性，降低任务难度，减轻认知负荷，为复杂心理语言学任务中的人机协作提供了一个有希望的途径。

🔬 方法详解

问题定义：该论文旨在解决人工标注道德框架任务中存在的成本高、效率低和一致性差的问题。现有方法依赖于大量人工标注，但由于数据稀缺和任务的心理语言学复杂性，标注员容易受到认知负荷的影响，导致标注结果不一致。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语言理解和生成能力，以及其少样本学习能力，辅助人工标注员进行道德框架的识别。通过提供少量的上下文示例和解释，引导LLM理解任务目标，并生成相应的概念和解释，从而减轻人工标注员的认知负荷，提高标注效率和准确性。

技术框架：该研究采用了一个两步过程：首先，使用LLM生成与道德框架相关的概念和解释；然后，人工标注员使用“边想边说”工具对LLM生成的概念和解释进行评估，并进行必要的修正。这个过程旨在将LLM的自动化能力与人工标注员的专业知识相结合，实现人机协作。

关键创新：该研究的关键创新在于将大型语言模型应用于辅助人工标注道德框架的任务中，并探索了LLM在减少认知负荷和提高标注准确性方面的潜力。与传统的完全依赖人工标注的方法相比，该方法能够显著提高标注效率和一致性。

关键设计：论文中使用了少样本学习的方法，为LLM提供了少量的上下文示例和解释，以引导其理解任务目标。具体来说，研究人员精心设计了这些示例和解释，使其能够清晰地表达道德框架的概念和识别原则。此外，研究人员还使用了“边想边说”工具，记录人工标注员在评估LLM生成结果时的思考过程，从而深入了解LLM在辅助标注过程中的作用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究表明，将LLM集成到道德框架标注过程中可以提高标注准确性，降低任务难度，减轻认知负荷。具体性能数据未知，但研究强调了LLM在辅助人工标注方面的潜力，并为复杂心理语言学任务中的人机协作提供了一个有希望的途径。与完全依赖人工标注相比，该方法在效率和一致性方面具有显著优势。

🎯 应用场景

该研究成果可应用于舆情分析、社会科学研究、政治学研究等领域。通过自动或半自动地识别社交媒体上的道德框架，可以更好地理解公众对特定议题的看法和态度，从而为政策制定者、社会组织和企业提供有价值的参考。此外，该方法还可以推广到其他复杂的心理语言学任务中，促进人机协作在更多领域的应用。

📄 摘要（原文）

Nowadays, social media is pivotal in shaping public discourse, especially on polarizing issues like vaccination, where diverse moral perspectives influence individual opinions. In NLP, data scarcity and complexity of psycholinguistic tasks, such as identifying morality frames, make relying solely on human annotators costly, time-consuming, and prone to inconsistency due to cognitive load. To address these issues, we leverage large language models (LLMs), which are adept at adapting new tasks through few-shot learning, utilizing a handful of in-context examples coupled with explanations that connect examples to task principles. Our research explores LLMs' potential to assist human annotators in identifying morality frames within vaccination debates on social media. We employ a two-step process: generating concepts and explanations with LLMs, followed by human evaluation using a "think-aloud" tool. Our study shows that integrating LLMs into the annotation process enhances accuracy, reduces task difficulty, lowers cognitive load, suggesting a promising avenue for human-AI collaboration in complex psycholinguistic tasks.