Explainable Fake News Detection With Large Language Model via Defense Among Competing Wisdom
作者: Bo Wang, Jing Ma, Hongzhan Lin, Zhiwei Yang, Ruichao Yang, Yuan Tian, Yi Chang
分类: cs.CL
发布日期: 2024-05-06 (更新: 2025-02-18)
备注: 12 pages, WWW'2024
💡 一句话要点
提出基于竞争性智慧防御的可解释假新闻检测框架，利用大语言模型生成理由。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 假新闻检测 可解释性 大语言模型 群体智慧 证据提取 理由生成 防御推理
📋 核心要点
- 现有假新闻检测方法缺乏可解释性，难以提供分类依据，而依赖调查新闻的系统效率低下。
- 论文提出基于防御的可解释框架，利用大语言模型从竞争性观点中提取证据并生成理由。
- 实验结果表明，该方法在假新闻检测性能上优于现有方法，并能提供高质量的理由。
📝 摘要（中文）
大多数假新闻检测方法基于神经网络学习潜在特征表示，导致分类过程缺乏可解释性。现有的可解释系统依赖调查性新闻生成理由，存在时效性差和效率低的问题。一些研究简单地将理由等同于群体智慧中的多数意见，但这些意见可能包含不准确或有偏见的信息。为了从多样化、拥挤甚至竞争性的叙述中检测假新闻，本文提出了一种新的基于防御的可解释假新闻检测框架。该框架首先提出一个证据提取模块，将群体智慧分成两个竞争方，分别检测显著证据。然后，设计一个基于提示的模块，利用大型语言模型通过推断两种可能真实性的原因来生成理由。最后，提出一个基于防御的推理模块，通过对这些理由之间的防御进行建模来确定真实性。在两个真实世界基准数据集上进行的大量实验表明，该方法在假新闻检测方面优于最先进的基线，并提供了高质量的理由。
🔬 方法详解
问题定义：现有假新闻检测方法主要存在两个痛点：一是基于神经网络的方法是黑盒，缺乏可解释性，无法提供分类的理由；二是依赖调查性新闻的方法存在时效性问题，无法及时响应。此外，简单地将群体智慧等同于理由，忽略了其中可能存在的偏见和不准确信息。
核心思路：论文的核心思路是模拟辩论过程，将群体智慧分解为支持和反对两种观点，并利用大语言模型（LLM）生成各自的理由。通过对这些理由进行“防御”建模，即评估不同理由的可信度和说服力，从而更准确地判断新闻的真实性。这种方法旨在提高检测的准确性和可解释性。
技术框架：该框架包含三个主要模块：1) 证据提取模块：将群体智慧分成两个竞争方，分别检测显著证据。具体实现方式未知。2) 基于提示的理由生成模块：利用大语言模型，通过提示工程（Prompt Engineering）生成支持和反对两种观点的理由。提示的设计至关重要，需要引导LLM从证据中推断出合理的解释。3) 基于防御的推理模块：对生成的理由进行建模，通过评估不同理由的强度和可信度，最终确定新闻的真实性。具体建模方法未知。
关键创新：该方法的主要创新在于：1) 引入了“防御”的概念，模拟辩论过程，更全面地评估新闻的真实性。2) 利用大语言模型生成理由，提高了可解释性，并避免了人工生成理由的低效率问题。3) 将群体智慧分解为竞争性观点，减轻了群体智慧中可能存在的偏见影响。
关键设计：论文中关于证据提取模块、基于防御的推理模块的具体实现方式，以及大语言模型的提示设计细节未知。损失函数和网络结构等技术细节也未在摘要中提及，需要查阅论文全文才能了解。
🖼️ 关键图片
📊 实验亮点
该方法在两个真实世界基准数据集上进行了实验，结果表明其在假新闻检测方面优于现有最先进的基线方法。具体性能提升幅度未知，但强调了该方法能够提供高质量的理由，增强了结果的可解释性。
🎯 应用场景
该研究成果可应用于在线社交媒体平台、新闻聚合网站等，帮助用户识别虚假信息，提高信息的可信度。通过提供可解释的理由，增强用户对检测结果的信任，从而减少虚假信息传播带来的负面影响。未来，该技术可进一步应用于舆情分析、网络安全等领域。
📄 摘要（原文）
Most fake news detection methods learn latent feature representations based on neural networks, which makes them black boxes to classify a piece of news without giving any justification. Existing explainable systems generate veracity justifications from investigative journalism, which suffer from debunking delayed and low efficiency. Recent studies simply assume that the justification is equivalent to the majority opinions expressed in the wisdom of crowds. However, the opinions typically contain some inaccurate or biased information since the wisdom of crowds is uncensored. To detect fake news from a sea of diverse, crowded and even competing narratives, in this paper, we propose a novel defense-based explainable fake news detection framework. Specifically, we first propose an evidence extraction module to split the wisdom of crowds into two competing parties and respectively detect salient evidences. To gain concise insights from evidences, we then design a prompt-based module that utilizes a large language model to generate justifications by inferring reasons towards two possible veracities. Finally, we propose a defense-based inference module to determine veracity via modeling the defense among these justifications. Extensive experiments conducted on two real-world benchmarks demonstrate that our proposed method outperforms state-of-the-art baselines in terms of fake news detection and provides high-quality justifications.