Claim Verification in the Age of Large Language Models: A Survey

📄 arXiv: 2408.14317v2 📥 PDF

作者: Alphaeus Dmonte, Roland Oruche, Marcos Zampieri, Prasad Calyam, Isabelle Augenstein

分类: cs.CL, cs.AI

发布日期: 2024-08-26 (更新: 2025-02-11)

💡 一句话要点

综述：大型语言模型时代下的声明验证技术

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声明验证 大型语言模型 检索增强生成 自然语言处理 信息检索

📋 核心要点

  1. 互联网信息爆炸，人工核实声明耗时费力，亟需自动化声明验证系统。
  2. 该综述聚焦于利用大型语言模型（LLM）进行声明验证的最新框架，涵盖检索、提示和微调等关键环节。
  3. 文章总结了用于声明验证的公开英文数据集，为后续研究提供了宝贵的资源。

📝 摘要（中文）

互联网上大量且不断增长的数据，以及手动声明和事实核查的繁琐任务，激发了人们对开发自动声明验证系统的兴趣。多年来，人们为此任务提出了几种深度学习和基于Transformer的模型。随着大型语言模型（LLM）的引入及其在多项NLP任务中的卓越性能，我们看到了大量基于LLM的声明验证方法，以及诸如检索增强生成（RAG）等新颖方法的使用。在本综述中，我们全面介绍了使用LLM的最新声明验证框架。我们详细描述了这些框架中使用的声明验证流程的不同组成部分，包括检索、提示和微调的常用方法。最后，我们描述了为此任务创建的公开可用的英语数据集。

🔬 方法详解

问题定义：论文旨在解决互联网上虚假信息泛滥的问题，通过自动化声明验证系统来减轻人工核实的负担。现有方法，如传统的深度学习模型，在处理复杂和多变的声明时表现不足，且缺乏对外部知识的有效利用。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语言理解和生成能力，结合检索增强生成（RAG）等技术，构建更有效的声明验证系统。通过检索相关证据并将其融入LLM的推理过程，提高验证的准确性和可靠性。

技术框架：该综述涵盖了基于LLM的声明验证框架的多个关键组成部分：1) 检索模块，用于从海量信息中检索与待验证声明相关的证据；2) 提示工程，设计合适的提示语，引导LLM进行推理和判断；3) 微调策略，针对特定任务对LLM进行微调，以提高其在声明验证任务上的性能。整体流程通常包括：输入声明 -> 检索相关证据 -> 构建提示 -> LLM推理 -> 输出验证结果。

关键创新：该综述的关键创新在于系统性地总结了LLM在声明验证领域的应用，并深入探讨了RAG等新兴技术的作用。与以往的综述相比，该文更关注LLM带来的范式转变，以及如何利用LLM的优势来提升声明验证的性能。

关键设计：论文重点关注了以下关键设计：1) 检索策略的选择，例如基于关键词的检索、基于语义相似度的检索等；2) 提示语的设计，包括如何有效地将检索到的证据融入提示语中；3) 微调数据的选择和构建，以及微调过程中的超参数设置。此外，还讨论了如何评估声明验证系统的性能，以及如何解决LLM可能存在的偏见和幻觉问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述总结了当前基于LLM的声明验证框架，并详细介绍了检索增强生成（RAG）等关键技术。通过对比不同方法的优缺点，为研究人员提供了有价值的参考。此外，该文还整理了公开可用的英文数据集，方便后续研究的开展。

🎯 应用场景

该研究成果可应用于新闻媒体、社交平台、搜索引擎等领域，用于自动识别和过滤虚假信息，提高信息的可信度和可靠性。有助于维护健康的互联网生态，减少虚假信息对社会造成的负面影响，并为公众提供更准确的信息服务。

📄 摘要（原文）

The large and ever-increasing amount of data available on the Internet coupled with the laborious task of manual claim and fact verification has sparked the interest in the development of automated claim verification systems. Several deep learning and transformer-based models have been proposed for this task over the years. With the introduction of Large Language Models (LLMs) and their superior performance in several NLP tasks, we have seen a surge of LLM-based approaches to claim verification along with the use of novel methods such as Retrieval Augmented Generation (RAG). In this survey, we present a comprehensive account of recent claim verification frameworks using LLMs. We describe the different components of the claim verification pipeline used in these frameworks in detail including common approaches to retrieval, prompting, and fine-tuning. Finally, we describe publicly available English datasets created for this task.