Hybrid Annotation for Propaganda Detection: Integrating LLM Pre-Annotations with Human Intelligence

📄 arXiv: 2507.18343v1 📥 PDF

作者: Ariana Sahitaj, Premtim Sahitaj, Veronika Solopova, Jiaao Li, Sebastian Möller, Vera Schmitt

分类: cs.CL

发布日期: 2025-07-24

备注: NLP4PI at ACL

💡 一句话要点

提出一种混合标注框架，结合LLM预标注与人工审核，提升宣传检测的效率与一致性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 宣传检测 大型语言模型 混合标注 知识蒸馏 自然语言处理 社交媒体分析 内容审核

📋 核心要点

  1. 现有宣传检测方法面临标注数据不足和标注一致性低的问题，尤其是在细粒度宣传技巧的识别上。
  2. 该论文提出一种混合标注框架，利用LLM进行预标注，然后由人工专家进行验证和修正，从而提高标注效率和质量。
  3. 实验表明，该方法显著提高了标注者之间的一致性，并减少了标注所需的时间，同时为小型语言模型的训练提供了高质量数据。

📝 摘要（中文）

由于任务复杂性和高质量标注数据有限，社交媒体上的宣传检测仍然具有挑战性。本文提出了一种新颖的框架，该框架结合了人类专业知识和大型语言模型（LLM）的辅助，以提高标注的一致性和可扩展性。我们提出了一个分层分类法，将14种细粒度的宣传技巧组织成三个更广泛的类别，对HQP数据集进行了一项人工标注研究，揭示了细粒度标签的低标注者间一致性，并实现了一个LLM辅助的预标注流程，该流程提取宣传跨度，生成简洁的解释，并分配局部标签以及全局标签。一项二次人工验证研究表明，在一致性和时间效率方面都有显著提高。在此基础上，我们对较小的语言模型（SLM）进行微调以执行结构化标注。我们没有在人工标注上进行微调，而是使用高质量的LLM生成的数据进行训练，允许大型模型生成这些标注，而较小的模型通过知识蒸馏学习生成它们。我们的工作有助于开发可扩展且稳健的宣传检测系统，支持符合SDG 16的透明和负责任的媒体生态系统的理念。代码已在我们的GitHub存储库中公开发布。

🔬 方法详解

问题定义：论文旨在解决宣传检测中高质量标注数据稀缺以及细粒度宣传技巧标注一致性低的问题。现有方法依赖大量人工标注，成本高昂且容易出现标注偏差，限制了模型的泛化能力。

核心思路：核心思路是结合LLM的强大生成能力和人类专家的判断力，构建一个混合标注流程。LLM负责生成初步标注，包括提取宣传跨度、生成解释和分配标签，人类专家则负责验证和修正LLM的输出，从而提高标注质量和效率。

技术框架：整体框架包含以下几个主要阶段：1) 定义宣传技巧的分层分类法；2) 使用LLM对数据集进行预标注，生成宣传跨度、解释和标签；3) 人工专家验证和修正LLM的预标注结果；4) 使用LLM生成的高质量数据训练小型语言模型（SLM），实现知识蒸馏。

关键创新：最重要的创新点在于将LLM应用于宣传检测的标注流程中，并利用LLM生成的数据训练SLM。这避免了直接依赖人工标注，降低了标注成本，并提高了标注的一致性和可扩展性。此外，利用知识蒸馏，可以将LLM的知识迁移到更小的模型上，使其能够在资源受限的环境中部署。

关键设计：论文采用了一种分层分类法来组织宣传技巧，将14种细粒度技巧归纳为3个更广泛的类别。LLM预标注阶段，使用了提示工程（Prompt Engineering）来指导LLM生成高质量的标注。在SLM训练阶段，使用了LLM生成的数据作为训练集，并可能采用了交叉熵损失函数等常见的损失函数进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LLM辅助标注后，标注者之间的一致性显著提高，标注时间也大幅缩短。此外，使用LLM生成的数据训练的SLM在宣传检测任务上取得了良好的性能，证明了知识蒸馏的有效性。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、新闻媒体的虚假信息检测、以及舆情分析等领域。通过自动化或半自动化地检测宣传内容，可以帮助用户识别虚假信息，提高信息透明度，维护健康的媒体生态系统，并支持联合国可持续发展目标（SDG）16。

📄 摘要（原文）

Propaganda detection on social media remains challenging due to task complexity and limited high-quality labeled data. This paper introduces a novel framework that combines human expertise with Large Language Model (LLM) assistance to improve both annotation consistency and scalability. We propose a hierarchical taxonomy that organizes 14 fine-grained propaganda techniques into three broader categories, conduct a human annotation study on the HQP dataset that reveals low inter-annotator agreement for fine-grained labels, and implement an LLM-assisted pre-annotation pipeline that extracts propagandistic spans, generates concise explanations, and assigns local labels as well as a global label. A secondary human verification study shows significant improvements in both agreement and time-efficiency. Building on this, we fine-tune smaller language models (SLMs) to perform structured annotation. Instead of fine-tuning on human annotations, we train on high-quality LLM-generated data, allowing a large model to produce these annotations and a smaller model to learn to generate them via knowledge distillation. Our work contributes towards the development of scalable and robust propaganda detection systems, supporting the idea of transparent and accountable media ecosystems in line with SDG 16. The code is publicly available at our GitHub repository.