CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs

📄 arXiv: 2504.14905v1 📥 PDF

作者: Yingming Zheng, Xiaoliang Liu, Peng Wu, Li Pan

分类: cs.CL

发布日期: 2025-04-21

🔗 代码/项目: GITHUB

💡 一句话要点

CRAVE：提出一种基于冲突推理的可解释声明验证方法，利用大语言模型提升复杂声明验证的准确性和透明度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声明验证 自然语言处理 大型语言模型 冲突推理 可解释性

📋 核心要点

  1. 现有声明验证方法依赖人工标注证据，成本高且难以扩展，对复杂声明的推理能力不足。
  2. CRAVE利用大语言模型推理冲突性理由，从多个维度分析证据，提升复杂声明验证的准确性和可解释性。
  3. 实验结果表明，CRAVE在公共数据集上显著优于现有方法，能更有效地找到相关证据并解释预测结果。

📝 摘要（中文）

数字媒体和人工智能生成内容的快速传播使得自动声明验证至关重要。传统方法依赖于专家标注的证据，耗费大量人力且不具备可扩展性。虽然最近的自动化系统有所改进，但它们在需要细致推理的复杂声明方面仍然存在困难。为了解决这个问题，我们提出了一种名为CRAVE的冲突推理方法，用于可解释的声明验证，该方法基于大型语言模型（LLM）推理出的冲突性理由来验证复杂声明。具体来说，CRAVE引入了一个三模块框架。歧义消除增强的证据检索模块执行歧义消除和基于实体的搜索，从维基百科等外部来源收集与声明验证相关的证据。具有LLM的冲突视角推理和初步判断模块采用LLM，从检索到的证据中，跨四个维度（即直接证据、语义关系、语言模式和逻辑推理）推理出关于声明验证的具有冲突立场的理由，并做出初步判断。最后，基于小型语言模型（SLM）的判断模块经过微调，利用来自LLM的初步判断来评估冲突理由的置信度，并做出最终的真实性判断。这种方法使CRAVE能够捕捉复杂声明中的细微不一致之处，从而提高声明验证的准确性和透明度。在两个公共声明验证数据集上的大量实验表明，我们的CRAVE模型比最先进的方法表现更好，并且在寻找相关证据和解释模型预测方面表现出卓越的能力。代码已在https://github.com/8zym/CRAVE提供。

🔬 方法详解

问题定义：论文旨在解决复杂声明验证问题，现有方法依赖人工标注，成本高昂且难以扩展。此外，现有自动化方法在处理需要细致推理的复杂声明时，准确率和可解释性不足。这些方法难以捕捉声明中存在的细微矛盾和逻辑谬误。

核心思路：CRAVE的核心思路是利用大型语言模型（LLM）的强大推理能力，从多个角度对声明进行验证，并引入冲突推理机制来提高验证的准确性和可解释性。通过让LLM生成支持和反对声明的理由，CRAVE能够更全面地评估声明的真实性。

技术框架：CRAVE包含三个主要模块：1) 歧义消除增强的证据检索模块：用于消除声明中的歧义，并从外部知识库（如维基百科）检索相关证据。2) 冲突视角推理和初步判断模块：利用LLM从检索到的证据中推理出支持和反对声明的理由，并进行初步判断。该模块从直接证据、语义关系、语言模式和逻辑推理四个维度进行推理。3) 基于小型语言模型（SLM）的判断模块：该模块经过微调，利用LLM的初步判断结果，评估冲突理由的置信度，并做出最终的真实性判断。

关键创新：CRAVE的关键创新在于其冲突推理机制，通过让LLM生成冲突的理由，能够更全面地评估声明的真实性。此外，CRAVE还引入了歧义消除模块，提高了证据检索的准确性。与现有方法相比，CRAVE能够更好地处理复杂声明，并提供更具解释性的验证结果。

关键设计：在证据检索模块中，采用了基于实体的搜索策略，以提高检索效率和准确性。在冲突视角推理模块中，LLM被提示生成支持和反对声明的理由，并从四个维度进行推理。在判断模块中，SLM被微调以评估冲突理由的置信度，并做出最终判断。具体的损失函数和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CRAVE在两个公共声明验证数据集上取得了显著的性能提升，超越了现有最先进的方法。实验结果表明，CRAVE能够更有效地找到相关证据，并提供更具解释性的验证结果，验证了其在复杂声明验证方面的优越性。具体的性能数据和提升幅度在论文中进行了详细展示。

🎯 应用场景

CRAVE可应用于新闻媒体、社交平台等领域，自动检测和验证虚假信息，减少谣言传播，维护网络信息安全。该研究有助于提高公众对信息的辨别能力，构建更健康的网络生态环境，并为未来的自动化内容审核系统提供技术支持。

📄 摘要（原文）

The rapid spread of misinformation, driven by digital media and AI-generated content, has made automatic claim verification essential. Traditional methods, which depend on expert-annotated evidence, are labor-intensive and not scalable. Although recent automated systems have improved, they still struggle with complex claims that require nuanced reasoning. To address this, we propose CRAVE, a Conflicting Reasoning Approach for explainable claim VErification, that verify the complex claims based on the conflicting rationales reasoned by large language models (LLMs). Specifically, CRAVE introduces a three-module framework. Ambiguity Elimination enchanced Evidence Retrieval module performs ambiguity elimination and entity-based search to gather relevant evidence related to claim verification from external sources like Wikipedia. Conflicting Perspective Reasoning and Preliminary Judgment module with LLMs adopts LLMs to reason rationales with conflicting stances about claim verification from retrieved evidence across four dimensions, i.e., direct evidence, semantic relationships, linguistic patterns, and logical reasoning and make a preliminary judgment. Finally, Small Language Model (SLM) based Judge module is fine-tuned to make use of preliminary judgment from LLMs to assess the confidence of the conflicting rationales and make a final authenticity judgment. This methodology allows CRAVE to capture subtle inconsistencies in complex claims, improving both the accuracy and transparency of claim verification. Extensive experiments on two public claim verification datasets demonstrate that our CRAVE model achieves much better performance than state-of-the-art methods and exhibits a superior capacity for finding relevant evidence and explaining the model predictions. The code is provided at https://github.com/8zym/CRAVE.