PCoT: Persuasion-Augmented Chain of Thought for Detecting Fake News and Social Media Disinformation

📄 arXiv: 2506.06842v2 📥 PDF

作者: Arkadiusz Modzelewski, Witold Sosnowski, Tiziano Labruna, Adam Wierzbicki, Giovanni Da San Martino

分类: cs.CL, cs.AI

发布日期: 2025-06-07 (更新: 2026-01-08)

备注: Accepted to ACL 2025 Main Conference

💡 一句话要点

提出PCoT：一种基于说服增强的思维链方法，用于检测虚假新闻和社交媒体上的不实信息。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不实信息检测 虚假新闻 社交媒体 大型语言模型 思维链 说服谬误 零样本学习 提示工程

📋 核心要点

  1. 现有不实信息检测方法缺乏对人类认知偏差的有效建模，难以识别利用说服技巧传播的虚假信息。
  2. PCoT通过引入说服知识，增强LLM的推理能力，使其能够识别不实信息中使用的说服谬误，从而提高检测精度。
  3. 实验结果表明，PCoT在多个数据集和LLM上均显著优于现有方法，平均提升达15%，验证了其有效性。

📝 摘要（中文）

不实信息检测是媒介素养的关键组成部分。心理学研究表明，了解说服谬误有助于个人识别不实信息。受此启发，我们利用大型语言模型（LLM）进行实验，以测试注入说服知识是否能增强不实信息检测能力。因此，我们引入了说服增强的思维链（PCoT），这是一种新颖的方法，利用说服力来改进零样本分类中的不实信息检测。我们在在线新闻和社交媒体帖子中广泛评估了PCoT。此外，我们发布了两个新颖的、最新的不实信息数据集：EUDisinfo和MultiDis。这些数据集使得能够在LLM完全未见过的内容上评估PCoT，因为这些内容是在模型知识截止日期之后发布的。结果表明，在五个LLM和五个数据集上，PCoT平均优于竞争方法15%。这些发现突出了说服力在加强零样本不实信息检测方面的价值。

🔬 方法详解

问题定义：论文旨在解决虚假新闻和社交媒体不实信息检测的问题。现有方法在识别利用说服技巧（如诉诸情感、人身攻击等）传播的不实信息时表现不佳，因为它们通常侧重于内容的事实性验证，而忽略了人类认知偏差的影响。

核心思路：论文的核心思路是利用心理学中关于说服谬误的知识，增强大型语言模型（LLM）的推理能力。通过让LLM识别文本中存在的说服技巧，从而判断信息是否具有欺骗性。这种方法模拟了人类识别不实信息的过程，即通过分析信息的表达方式来判断其可信度。

技术框架：PCoT方法主要包含以下几个阶段：1) 输入文本：将待检测的新闻或社交媒体帖子输入模型。2) 说服谬误识别：利用LLM分析文本，识别其中可能存在的说服谬误。3) 思维链推理：LLM基于识别出的说服谬误，生成一段推理过程，解释为什么该信息可能是不实的。4) 最终判断：基于推理过程，LLM给出最终的判断结果，即该信息是否为不实信息。

关键创新：PCoT的关键创新在于将说服知识融入到LLM的推理过程中。与传统的基于事实核查的方法不同，PCoT侧重于分析信息的表达方式和说服技巧，从而更有效地识别利用认知偏差传播的不实信息。此外，论文还构建了两个新的数据集，用于评估模型在真实场景下的性能。

关键设计：PCoT方法使用了Chain of Thought (CoT) 的提示工程技术，引导LLM进行逐步推理。具体的提示语设计包括：首先要求LLM识别文本中存在的说服谬误，然后要求LLM解释这些谬误如何影响信息的真实性。论文没有详细说明具体的参数设置或网络结构，因为PCoT主要是一种提示工程方法，可以应用于不同的LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PCoT在五个数据集（包括两个新构建的EUDisinfo和MultiDis数据集）和五个LLM上进行了广泛的评估。实验结果表明，PCoT平均优于竞争方法15%。尤其是在新构建的数据集上，PCoT表现出更强的泛化能力，证明了其在真实场景下的有效性。

🎯 应用场景

该研究成果可应用于新闻媒体、社交媒体平台等领域，用于自动检测和过滤虚假新闻和不实信息，提高信息的可信度，减少不实信息对社会的影响。此外，该方法还可以用于教育领域，帮助人们提高媒介素养，识别和抵制不实信息。

📄 摘要（原文）

Disinformation detection is a key aspect of media literacy. Psychological studies have shown that knowledge of persuasive fallacies helps individuals detect disinformation. Inspired by these findings, we experimented with large language models (LLMs) to test whether infusing persuasion knowledge enhances disinformation detection. As a result, we introduce the Persuasion-Augmented Chain of Thought (PCoT), a novel approach that leverages persuasion to improve disinformation detection in zero-shot classification. We extensively evaluate PCoT on online news and social media posts. Moreover, we publish two novel, up-to-date disinformation datasets: EUDisinfo and MultiDis. These datasets enable the evaluation of PCoT on content entirely unseen by the LLMs used in our experiments, as the content was published after the models' knowledge cutoffs. We show that, on average, PCoT outperforms competitive methods by 15% across five LLMs and five datasets. These findings highlight the value of persuasion in strengthening zero-shot disinformation detection.