Beyond the "Truth": Investigating Election Rumors on Truth Social During the 2024 Election

📄 arXiv: 2601.04631v1 📥 PDF

作者: Etienne Casanova, R. Michael Alvarez

分类: cs.AI, cs.SI

发布日期: 2026-01-08

💡 一句话要点

提出基于LLM的多阶段谣言检测Agent，用于分析Truth Social平台2024年选举谣言

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 谣言检测 大型语言模型 社交媒体分析 虚幻真相效应 选举谣言

📋 核心要点

  1. 现有方法难以在大规模社交平台中有效识别和分析选举谣言，尤其是在另类技术平台。
  2. 论文提出一种多阶段谣言检测Agent，结合RoBERTa、关键词过滤和GPT-4o，实现高精度谣言分类。
  3. 实验表明，谣言传播存在“虚幻真相效应”，重复曝光显著增加分享概率，模拟显示谣言快速传播。

📝 摘要（中文）

大型语言模型（LLM）为大规模分析社会现象提供了前所未有的机会。本文通过以下方式展示了LLM在心理测量中的价值：（1）构建了首个小众另类技术平台上的大规模选举谣言数据集；（2）开发了一种多阶段谣言检测Agent，该Agent利用LLM进行高精度内容分类；（3）量化了谣言传播的心理动态，特别是在自然环境中的“虚幻真相效应”。该谣言检测Agent结合了（i）合成数据增强的微调RoBERTa分类器，（ii）精确关键词过滤，以及（iii）使用GPT-4o mini的两阶段LLM验证流程。研究结果表明，分享概率随着每次额外曝光而稳步上升，为意识形态同质网络中的剂量-反应信念强化提供了大规模的经验证据。模拟结果进一步表明了快速的传染效应：仅在四次传播迭代中，就有近四分之一的用户被“感染”。总而言之，这些结果说明了LLM如何通过对海量真实世界数据集中的信念动态和错误信息传播进行严格测量，从而改变心理科学。

🔬 方法详解

问题定义：论文旨在解决在小众另类技术平台Truth Social上大规模检测和分析选举谣言的问题。现有方法在处理此类平台上的噪声数据、识别细微的谣言以及量化谣言传播的心理效应方面存在不足。传统方法难以有效应对快速变化的网络环境和复杂的谣言传播模式。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语义理解和生成能力，构建一个多阶段的谣言检测Agent。该Agent通过结合传统机器学习方法（RoBERTa）和先进的LLM（GPT-4o），实现高精度和高效率的谣言识别。通过量化谣言传播过程中的“虚幻真相效应”，揭示用户信念强化的心理机制。

技术框架：该谣言检测Agent包含三个主要阶段：（1）RoBERTa分类器：使用合成数据增强的RoBERTa模型进行初步分类，提高模型的鲁棒性。（2）关键词过滤：利用精确关键词过滤技术，快速筛选出潜在的谣言内容。（3）LLM验证：使用GPT-4o mini进行两阶段验证，进一步确认谣言的真实性。第一阶段LLM评估内容是否与选举相关，第二阶段LLM判断内容是否为谣言。

关键创新：该方法最重要的创新点在于将传统的机器学习方法与先进的LLM相结合，构建了一个多阶段的谣言检测流程。与传统的单一模型或规则方法相比，该方法能够更准确地识别和分类谣言，并能够量化谣言传播的心理效应。此外，使用合成数据增强RoBERTa模型，提高了模型在噪声数据上的泛化能力。

关键设计：RoBERTa分类器使用合成数据进行微调，以提高模型的鲁棒性。关键词过滤采用精确匹配策略，以减少误报。LLM验证阶段使用GPT-4o mini，并设计了特定的prompt，引导LLM进行准确的判断。两阶段LLM验证流程能够有效降低计算成本，同时保证检测精度。模拟实验中，使用SIR模型模拟谣言传播，并量化了“虚幻真相效应”的影响。

📊 实验亮点

实验结果表明，该谣言检测Agent能够有效识别Truth Social平台上的选举谣言。研究发现，用户分享谣言的概率随着曝光次数的增加而显著上升，验证了“虚幻真相效应”。模拟结果显示，在四次传播迭代中，近四分之一的用户可能被谣言“感染”，突显了谣言传播的快速性和广泛性。

🎯 应用场景

该研究成果可应用于社交媒体平台的内容审核、舆情监控和虚假信息治理。通过部署类似的谣言检测Agent，可以有效识别和控制谣言传播，维护网络空间的健康和安全。此外，该研究方法还可以推广到其他领域的虚假信息检测，例如医疗健康、金融等。

📄 摘要（原文）

Large language models (LLMs) offer unprecedented opportunities for analyzing social phenomena at scale. This paper demonstrates the value of LLMs in psychological measurement by (1) compiling the first large-scale dataset of election rumors on a niche alt-tech platform, (2) developing a multistage Rumor Detection Agent that leverages LLMs for high-precision content classification, and (3) quantifying the psychological dynamics of rumor propagation, specifically the "illusory truth effect" in a naturalistic setting. The Rumor Detection Agent combines (i) a synthetic data-augmented, fine-tuned RoBERTa classifier, (ii) precision keyword filtering, and (iii) a two-pass LLM verification pipeline using GPT-4o mini. The findings reveal that sharing probability rises steadily with each additional exposure, providing large-scale empirical evidence for dose-response belief reinforcement in ideologically homogeneous networks. Simulation results further demonstrate rapid contagion effects: nearly one quarter of users become "infected" within just four propagation iterations. Taken together, these results illustrate how LLMs can transform psychological science by enabling the rigorous measurement of belief dynamics and misinformation spread in massive, real-world datasets.