Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media

📄 arXiv: 2410.14515v2 📥 PDF

作者: Owen Cook, Charlie Grimshaw, Ben Wu, Sophie Dillon, Jack Hicks, Luke Jones, Thomas Smith, Matyas Szert, Xingyi Song

分类: cs.LG, cs.AI, cs.SI

发布日期: 2024-10-18 (更新: 2025-02-03)

备注: 8 pages, 3 figures, 3 tables. Code available here: https://github.com/MiniEggz/ruc-misinfo; annotation framework available here: https://github.com/MiniEggz/EffiARA

DOI: 10.18653/v1/2025.findings-naacl.185

💡 一句话要点

提出EffiARA框架，通过评估标注者可靠性加权样本，提升社交媒体知识驱动的虚假信息检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚假信息检测 社交媒体 标注者可靠性 样本加权 知识驱动

📋 核心要点

  1. 社交媒体虚假信息检测面临标注数据质量挑战，现有方法难以有效利用标注者的主观性和可靠性差异。
  2. EffiARA框架通过评估标注者间和标注者内的协议，量化标注者的可靠性，并用于样本加权，从而提升模型训练效果。
  3. 在RUC-MCD数据集上，基于EffiARA框架的Llama-3.2-1B模型取得了0.757的宏F1值，验证了该方法的有效性。

📝 摘要（中文）

虚假信息在社交媒体上迅速传播，混淆真相并可能针对弱势群体。为了有效缓解虚假信息的负面影响，必须先准确检测，然后才能应用缓解策略，例如X的社区笔记，目前这是一个手动过程。本研究采用基于知识的方法进行虚假信息检测，将该问题建模为类似于自然语言推理的问题。论文提出了EffiARA标注框架，旨在利用标注者间和标注者内的协议来理解每个标注者的可靠性，并根据标注者可靠性影响大型语言模型的训练，以进行分类。在评估EffiARA标注框架时，开发并公开了俄乌冲突知识驱动的虚假信息分类数据集（RUC-MCD）。研究发现，使用标注者可靠性进行样本加权效果最佳，利用了标注者间和标注者内的协议以及软标签训练。使用Llama-3.2-1B实现的最高分类性能为宏F1值0.757，使用TwHIN-BERT-large实现的最高分类性能为0.740。

🔬 方法详解

问题定义：论文旨在解决社交媒体上基于知识的虚假信息检测问题。现有方法在利用众包标注数据时，通常忽略了标注者之间的可靠性差异，导致模型训练受到低质量标注的影响。此外，如何有效利用标注者内部的一致性信息也是一个挑战。

核心思路：论文的核心思路是设计一个标注者可靠性评估框架（EffiARA），通过分析标注者间和标注者内的协议，量化每个标注者的可靠性。然后，利用这些可靠性信息对训练样本进行加权，从而使模型更加关注高质量的标注数据，减少低质量标注的影响。

技术框架：整体框架包含以下几个主要阶段：1) 数据标注：收集多个标注者对同一条社交媒体信息的标注结果。2) 标注者可靠性评估：使用EffiARA框架计算每个标注者的可靠性得分，该得分综合考虑了标注者间的一致性和标注者内的自洽性。3) 样本加权：根据标注者的可靠性得分，对训练样本进行加权，可靠性高的标注者提供的样本权重更高。4) 模型训练：使用加权后的样本训练大型语言模型，例如Llama-3.2-1B或TwHIN-BERT-large。5) 模型评估：在测试集上评估模型的性能。

关键创新：论文的关键创新在于提出了EffiARA标注框架，该框架能够有效评估标注者的可靠性，并将其用于样本加权。与现有方法相比，EffiARA框架更加关注标注数据的质量，能够更好地利用标注者的主观性和专业知识。此外，RUC-MCD数据集的发布也为该领域的研究提供了新的资源。

关键设计：EffiARA框架的关键设计包括：1) 使用Kappa系数等指标衡量标注者间的一致性。2) 通过重复标注等方式评估标注者内的自洽性。3) 设计合理的加权策略，将标注者的可靠性得分转化为样本权重。4) 使用软标签训练，允许模型学习标注者之间的不同意见。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用EffiARA框架进行样本加权能够显著提升虚假信息检测的性能。在RUC-MCD数据集上，基于EffiARA框架的Llama-3.2-1B模型取得了0.757的宏F1值，使用TwHIN-BERT-large取得了0.740的宏F1值，超过了未进行样本加权的基线模型。这表明该方法能够有效利用标注者的可靠性信息，提升模型训练效果。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、舆情分析和虚假信息治理等领域。通过提升虚假信息检测的准确率，可以有效减少虚假信息对社会造成的负面影响，保护用户免受误导和欺骗。未来，该方法还可以扩展到其他需要人工标注的自然语言处理任务中。

📄 摘要（原文）

Misinformation spreads rapidly on social media, confusing the truth and targeting potentially vulnerable people. To effectively mitigate the negative impact of misinformation, it must first be accurately detected before applying a mitigation strategy, such as X's community notes, which is currently a manual process. This study takes a knowledge-based approach to misinformation detection, modelling the problem similarly to one of natural language inference. The EffiARA annotation framework is introduced, aiming to utilise inter- and intra-annotator agreement to understand the reliability of each annotator and influence the training of large language models for classification based on annotator reliability. In assessing the EffiARA annotation framework, the Russo-Ukrainian Conflict Knowledge-Based Misinformation Classification Dataset (RUC-MCD) was developed and made publicly available. This study finds that sample weighting using annotator reliability performs the best, utilising both inter- and intra-annotator agreement and soft-label training. The highest classification performance achieved using Llama-3.2-1B was a macro-F1 of 0.757 and 0.740 using TwHIN-BERT-large.