MegaFake: A Theory-Driven Dataset of Fake News Generated by Large Language Models

📄 arXiv: 2408.11871v2 📥 PDF

作者: Lionel Z. Wang, Yiming Ma, Renfei Gao, Beichen Guo, Han Zhu, Wenqi Fan, Zexin Lu, Ka Chung Ng

分类: cs.CL, cs.AI

发布日期: 2024-08-19 (更新: 2024-09-25)

💡 一句话要点

MegaFake：提出基于大语言模型和社交心理学理论的假新闻生成与检测数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 假新闻检测 大型语言模型 社会心理学 自动化生成 数据集构建

📋 核心要点

  1. 现有假新闻检测研究缺乏对LLM生成假新闻内在动机和机制的深入理解，数据集构建依赖人工标注，成本高昂。
  2. 论文提出LLM-Fake理论框架，从社会心理学角度分析LLM生成假新闻的动机，并设计自动化pipeline生成假新闻。
  3. 构建了MegaFake数据集，并通过实验验证了数据集的有效性，为未来假新闻检测和治理研究提供了有价值的资源。

📝 摘要（中文）

大型语言模型（LLMs）的出现彻底改变了在线内容创作，使得生成高质量的假新闻变得更加容易。这种滥用威胁着我们数字环境的完整性和道德标准。因此，理解LLM生成假新闻背后的动机和机制至关重要。在本研究中，我们从社会心理学的角度分析了假新闻的产生，并开发了一个基于LLM的综合理论框架，即LLM-Fake理论。我们引入了一种新颖的pipeline，该pipeline使用LLM自动生成假新闻，从而消除了手动标注的需要。利用这个pipeline，我们创建了一个理论驱动的机器生成假新闻数据集MegaFake，该数据集来源于GossipCop数据集。我们进行了全面的分析来评估我们的MegaFake数据集。我们相信，我们的数据集和见解将为未来专注于LLM时代假新闻检测和治理的研究提供有价值的贡献。

🔬 方法详解

问题定义：论文旨在解决LLM时代假新闻检测研究缺乏理论指导和高质量数据集的问题。现有方法主要依赖人工标注，成本高，效率低，且难以覆盖LLM生成假新闻的各种模式。此外，缺乏对LLM生成假新闻内在动机的深入理解，导致检测方法泛化能力不足。

核心思路：论文的核心思路是结合社会心理学理论和LLM的生成能力，构建一个理论驱动的假新闻生成pipeline。通过分析人们传播假新闻的动机（例如，寻求关注、操纵舆论），并将其转化为LLM可以理解和执行的指令，从而生成更具欺骗性的假新闻。这种方法不仅可以降低数据集构建成本，还可以提高数据集的多样性和真实性。

技术框架：论文提出的技术框架主要包含以下几个阶段：1) LLM-Fake理论构建：从社会心理学角度分析假新闻的传播动机，并将其形式化为LLM可以理解的规则。2) 自动化生成pipeline设计：基于LLM-Fake理论，设计一个自动化pipeline，该pipeline可以根据给定的新闻主题和传播动机，生成相应的假新闻。3) MegaFake数据集构建：利用自动化生成pipeline，从GossipCop数据集中生成MegaFake数据集。4) 数据集评估：对MegaFake数据集进行全面的分析，包括统计特征、语言特征和可信度评估。

关键创新：论文最重要的技术创新点在于提出了LLM-Fake理论框架，该框架将社会心理学理论与LLM的生成能力相结合，为假新闻生成提供了理论指导。与现有方法相比，该方法可以生成更具欺骗性和多样性的假新闻，从而提高假新闻检测模型的鲁棒性。此外，自动化生成pipeline的引入大大降低了数据集构建成本。

关键设计：在自动化生成pipeline中，论文使用了Prompt Engineering技术，通过精心设计的Prompt来引导LLM生成符合特定传播动机的假新闻。例如，为了生成旨在操纵舆论的假新闻，Prompt中会包含“请你生成一篇旨在误导读者，让他们相信XXX是真实的”等指令。此外，论文还对LLM的生成结果进行了过滤和后处理，以确保生成假新闻的质量和可信度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建的MegaFake数据集包含大量由LLM生成的假新闻，涵盖多种传播动机和新闻主题。实验结果表明，基于MegaFake数据集训练的假新闻检测模型在泛化能力和鲁棒性方面均优于基于传统数据集训练的模型。具体性能数据未知，但论文强调了数据集的有效性。

🎯 应用场景

该研究成果可应用于假新闻检测模型的训练和评估，提高模型对LLM生成假新闻的识别能力。此外，该研究还可以帮助研究人员更好地理解LLM生成假新闻的内在机制，为开发更有效的假新闻治理策略提供理论支持。该数据集可以作为基准数据集，促进相关研究的进展。

📄 摘要（原文）

The advent of large language models (LLMs) has revolutionized online content creation, making it much easier to generate high-quality fake news. This misuse threatens the integrity of our digital environment and ethical standards. Therefore, understanding the motivations and mechanisms behind LLM-generated fake news is crucial. In this study, we analyze the creation of fake news from a social psychology perspective and develop a comprehensive LLM-based theoretical framework, LLM-Fake Theory. We introduce a novel pipeline that automates the generation of fake news using LLMs, thereby eliminating the need for manual annotation. Utilizing this pipeline, we create a theoretically informed Machine-generated Fake news dataset, MegaFake, derived from the GossipCop dataset. We conduct comprehensive analyses to evaluate our MegaFake dataset. We believe that our dataset and insights will provide valuable contributions to future research focused on the detection and governance of fake news in the era of LLMs.