Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation

📄 arXiv: 2310.09223v1 📥 PDF

作者: Eun Cheol Choi, Emilio Ferrara

分类: cs.CL, cs.CY, cs.HC

发布日期: 2023-10-13

💡 一句话要点

提出FACT-GPT以自动化事实核查中的声明匹配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚假信息 事实核查 大型语言模型 声明匹配 社交媒体监测 自动化技术 数据集生成

📋 核心要点

  1. 虚假信息的快速传播使得事实核查员的手动验证工作面临巨大挑战，现有方法效率低下。
  2. 提出FACT-GPT框架，通过大型语言模型自动化声明匹配过程，提升事实核查的效率和准确性。
  3. 实验结果显示，微调后的LLMs在声明匹配任务中表现优于传统方法，接近人类标注的水平。

📝 摘要（中文）

在当今数字时代，虚假信息的快速传播对公众健康和社会信任构成威胁。随着在线虚假信息的增加，事实核查员的手动验证变得愈加困难。本文提出了FACT-GPT（基于声明匹配任务的事实核查增强生成预训练变换器），旨在利用大型语言模型（LLMs）自动化事实核查中的声明匹配阶段。该框架能够识别新的社交媒体内容，这些内容支持或反驳之前被核查员揭穿的声明。我们使用GPT-4生成了一个包含模拟社交媒体帖子的标记数据集，作为微调更专业LLMs的训练基础。通过对与公共健康相关的社交媒体内容进行广泛评估，结果表明我们的微调LLMs在声明匹配任务中的表现与更大规模的预训练LLMs相当，并与人工标注高度一致。此研究实现了三个关键里程碑：提供了增强事实核查的自动化框架；展示了LLMs补充人类专业知识的潜力；提供了公共资源，包括数据集和模型，以进一步推动事实核查领域的研究与应用。

🔬 方法详解

问题定义：本文旨在解决虚假信息快速传播背景下，事实核查员在声明匹配过程中的效率低下和准确性不足的问题。现有方法依赖人工验证，难以应对海量信息的挑战。

核心思路：通过引入FACT-GPT框架，利用大型语言模型（LLMs）自动化声明匹配，能够快速识别社交媒体内容与已核查声明之间的关系，从而减轻人工负担。

技术框架：该框架包括数据生成、模型训练和声明匹配三个主要模块。首先，使用GPT-4生成标记数据集；其次，微调专门的LLMs；最后，应用微调后的模型进行声明匹配。

关键创新：最重要的创新在于将大型语言模型应用于事实核查领域，特别是在声明匹配任务中，显著提高了效率和准确性，超越了传统的人工验证方法。

关键设计：在模型训练过程中，采用了特定的损失函数和参数设置，以确保模型在处理社交媒体内容时的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，微调后的FACT-GPT在声明匹配任务中的表现与更大规模的预训练LLMs相当，且与人工标注的结果高度一致。这一成果展示了LLMs在事实核查中的应用潜力，提升幅度显著，能够有效支持事实核查员的工作。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监测、公共健康信息核查和虚假信息识别等。通过自动化声明匹配，FACT-GPT能够帮助事实核查员更高效地应对虚假信息的挑战，提升公众对信息的信任度，具有重要的社会价值和影响力。

📄 摘要（原文）

In today's digital era, the rapid spread of misinformation poses threats to public well-being and societal trust. As online misinformation proliferates, manual verification by fact checkers becomes increasingly challenging. We introduce FACT-GPT (Fact-checking Augmentation with Claim matching Task-oriented Generative Pre-trained Transformer), a framework designed to automate the claim matching phase of fact-checking using Large Language Models (LLMs). This framework identifies new social media content that either supports or contradicts claims previously debunked by fact-checkers. Our approach employs GPT-4 to generate a labeled dataset consisting of simulated social media posts. This data set serves as a training ground for fine-tuning more specialized LLMs. We evaluated FACT-GPT on an extensive dataset of social media content related to public health. The results indicate that our fine-tuned LLMs rival the performance of larger pre-trained LLMs in claim matching tasks, aligning closely with human annotations. This study achieves three key milestones: it provides an automated framework for enhanced fact-checking; demonstrates the potential of LLMs to complement human expertise; offers public resources, including datasets and models, to further research and applications in the fact-checking domain.