Evidence-based Interpretable Open-domain Fact-checking with Large Language Models

📄 arXiv: 2312.05834v1 📥 PDF

作者: Xin Tan, Bowei Zou, Ai Ti Aw

分类: cs.CL, cs.AI

发布日期: 2023-12-10

💡 一句话要点

提出OE-Fact系统，利用大语言模型进行开放域可解释的事实验证。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实验证 开放域 大型语言模型 可解释性 证据检索

📋 核心要点

  1. 现有事实核查系统在收集有效、充分的实时证据和进行合理决策方面面临挑战。
  2. OE-Fact系统利用LLM的理解和推理能力，验证声明并生成因果解释，提升可解释性。
  3. 实验表明，OE-Fact系统在封闭域和开放域的事实验证任务中均优于现有基线系统。

📝 摘要（中文）

本文介绍了一种用于真实场景中声明验证的开放域可解释事实验证（OE-Fact）系统。该系统利用大型语言模型（LLM）强大的理解和推理能力来验证声明，并为事实验证决策生成因果解释。为了使传统的三模块事实验证框架适应开放域环境，首先从开放网站检索与声明相关的信息作为相关证据。然后，通过LLM和相似度计算保留与声明相关的证据，以供后续验证。在Fact Extraction and Verification (FEVER)数据集上评估了改进后的三模块OE-Fact系统的性能。实验结果表明，OE-Fact系统在封闭域和开放域场景中均优于一般的事实验证基线系统，在确保稳定和准确的判决的同时，为事实验证决策提供简洁而令人信服的实时解释。

🔬 方法详解

问题定义：论文旨在解决开放域环境下，如何利用大规模语言模型进行可解释的事实验证问题。现有方法在开放域中难以有效获取相关证据，且缺乏对验证结果的解释性，导致结果可信度不高。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大理解和推理能力，构建一个三模块的事实验证系统，该系统能够从开放网络中检索相关证据，并利用LLM对证据进行筛选和推理，最终生成可解释的验证结果。这样设计的目的是为了提高证据获取的效率和准确性，并增强验证结果的可信度。

技术框架：OE-Fact系统采用传统的三模块事实核查框架，并针对开放域进行了改进。该框架包含以下三个主要模块：1) 证据检索模块：从开放网站检索与声明相关的信息作为证据。2) 证据过滤模块：利用LLM和相似度计算，筛选出与声明最相关的证据。3) 验证模块：基于筛选后的证据，利用LLM进行推理和验证，并生成可解释的验证结果。

关键创新：该论文的关键创新在于将大型语言模型（LLM）引入到传统的事实验证框架中，并利用LLM的理解和推理能力来提高证据检索和验证的效率和准确性。此外，该系统还能够生成可解释的验证结果，增强了结果的可信度。与现有方法相比，OE-Fact系统能够更好地处理开放域的事实验证问题，并提供更具解释性的验证结果。

关键设计：论文中关键的设计包括：1) 使用LLM进行证据相关性判断，提高证据筛选的准确性。2) 利用LLM生成验证结果的解释，增强结果的可信度。3) 采用相似度计算方法，进一步筛选相关证据。具体的LLM选择、相似度计算方法以及损失函数等技术细节在论文中可能有所描述，但此处未知。

📊 实验亮点

OE-Fact系统在FEVER数据集上的实验结果表明，该系统在封闭域和开放域场景中均优于一般的事实验证基线系统。这意味着该系统在提高事实核查的准确性和效率方面具有显著优势。具体的性能提升幅度未知，但摘要中强调了其稳定和准确的判决，以及简洁而令人信服的实时解释。

🎯 应用场景

该研究成果可应用于新闻媒体的事实核查、社交媒体的内容审核、以及智能客服等领域。通过自动验证信息的真实性并提供可解释的依据，有助于减少虚假信息的传播，提高信息的可信度，并为用户提供更可靠的信息服务。未来，该技术有望进一步发展，应用于更广泛的领域，例如金融风险评估、医疗诊断等。

📄 摘要（原文）

Universal fact-checking systems for real-world claims face significant challenges in gathering valid and sufficient real-time evidence and making reasoned decisions. In this work, we introduce the Open-domain Explainable Fact-checking (OE-Fact) system for claim-checking in real-world scenarios. The OE-Fact system can leverage the powerful understanding and reasoning capabilities of large language models (LLMs) to validate claims and generate causal explanations for fact-checking decisions. To adapt the traditional three-module fact-checking framework to the open domain setting, we first retrieve claim-related information as relevant evidence from open websites. After that, we retain the evidence relevant to the claim through LLM and similarity calculation for subsequent verification. We evaluate the performance of our adapted three-module OE-Fact system on the Fact Extraction and Verification (FEVER) dataset. Experimental results show that our OE-Fact system outperforms general fact-checking baseline systems in both closed- and open-domain scenarios, ensuring stable and accurate verdicts while providing concise and convincing real-time explanations for fact-checking decisions.