VaxGuard: A Multi-Generator, Multi-Type, and Multi-Role Dataset for Detecting LLM-Generated Vaccine Misinformation

📄 arXiv: 2503.09103v1 📥 PDF

作者: Syed Talal Ahmad, Haohui Lu, Sidong Liu, Annie Lau, Amin Beheshti, Mark Dras, Usman Naseem

分类: cs.CL

发布日期: 2025-03-12

备注: Preprint

💡 一句话要点

VaxGuard：多生成器、多类型、多角色的疫苗虚假信息检测数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疫苗虚假信息检测 大型语言模型 多生成器数据集 多角色建模 自然语言处理

📋 核心要点

  1. 现有方法缺乏对LLM生成疫苗虚假信息的深入理解，且忽略了传播者的多样角色，导致检测效果不佳。
  2. VaxGuard数据集通过多LLM生成、多类型、多角色设定，构建了全面的疫苗虚假信息检测框架。
  3. 实验表明GPT-3.5和GPT-4o在检测微妙和情感化虚假信息方面表现更优，而PHI3和Mistral在恐惧驱动场景中表现较差。

📝 摘要（中文）

大型语言模型（LLMs）在文本生成能力方面取得了显著进展，但也带来了挑战，尤其是在生成疫苗相关虚假信息方面，这对公共健康构成风险。尽管对人为撰写的虚假信息进行了研究，但在理解LLMs如何助长疫苗虚假信息以及如何最好地检测它方面仍然存在显著差距。现有的基准测试通常忽略了疫苗特定的虚假信息以及虚假信息传播者的不同角色。本文介绍了VaxGuard，这是一个旨在应对这些挑战的新数据集。VaxGuard包括由多个LLMs生成的疫苗相关虚假信息，并提供了一个全面的框架，用于检测各种角色中的虚假信息。研究结果表明，GPT-3.5和GPT-4o在检测虚假信息方面始终优于其他LLMs，尤其是在处理微妙或带有情感色彩的叙述时。另一方面，PHI3和Mistral表现较差，在恐惧驱动的语境中，精确率和召回率都较低。此外，检测性能往往随着输入文本长度的增加而下降，这表明需要改进方法来处理更大的内容。这些结果突出了角色特定检测策略的重要性，并表明VaxGuard可以作为改进LLM生成的疫苗虚假信息检测的关键资源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成疫苗相关虚假信息的问题。现有方法主要关注人为撰写的虚假信息，忽略了LLMs生成虚假信息的特殊性和传播者角色的多样性，导致检测效果不佳，缺乏针对性和有效性。

核心思路：论文的核心思路是构建一个包含多生成器（多个LLM）、多类型（不同类型的虚假信息）和多角色（不同传播者角色）的疫苗虚假信息数据集VaxGuard。通过这个数据集，可以更全面地评估和提升LLM生成虚假信息的检测能力，并针对不同角色制定更有效的检测策略。

技术框架：VaxGuard数据集的构建流程主要包括以下几个阶段： 1. LLM选择：选择多个具有代表性的LLM作为虚假信息生成器，包括GPT-3.5、GPT-4o、PHI3和Mistral等。 2. 虚假信息类型定义：定义多种疫苗相关的虚假信息类型，例如错误信息、阴谋论、情感操纵等。 3. 角色定义：定义不同的虚假信息传播者角色，例如普通用户、专家、媒体等。 4. 数据生成：利用选定的LLM，根据定义的虚假信息类型和角色，生成相应的文本数据。 5. 数据标注：对生成的数据进行标注，区分真假信息，并标注传播者角色。

关键创新：VaxGuard数据集的关键创新在于其多生成器、多类型和多角色的设计。与现有数据集相比，VaxGuard更全面地模拟了LLM生成虚假信息的复杂性和多样性，更贴近实际应用场景。这种设计使得基于VaxGuard训练的模型能够更好地泛化到不同的LLM和传播者角色，从而提高虚假信息检测的准确性和鲁棒性。

关键设计：在数据生成阶段，论文可能采用了prompt工程技术，引导LLM生成特定类型和角色的虚假信息。在数据标注阶段，可能采用了多轮标注和专家审核机制，确保标注的准确性和一致性。此外，数据集可能还包含了文本长度、情感倾向等元数据，以便更深入地分析虚假信息的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-3.5和GPT-4o在检测虚假信息方面表现优于PHI3和Mistral，尤其是在处理微妙或带有情感色彩的叙述时。同时，检测性能随着输入文本长度的增加而下降，表明需要改进方法来处理更长的文本内容。这些结果验证了VaxGuard数据集的有效性，并为未来的研究提供了方向。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻媒体、医疗机构等，用于自动检测和过滤LLM生成的疫苗虚假信息，从而减少虚假信息传播，提高公众对疫苗的信任度，维护公共健康安全。未来，该数据集和方法可以扩展到其他领域的虚假信息检测，例如政治、经济等。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have significantly improved text generation capabilities. However, they also present challenges, particularly in generating vaccine-related misinformation, which poses risks to public health. Despite research on human-authored misinformation, a notable gap remains in understanding how LLMs contribute to vaccine misinformation and how best to detect it. Existing benchmarks often overlook vaccine-specific misinformation and the diverse roles of misinformation spreaders. This paper introduces VaxGuard, a novel dataset designed to address these challenges. VaxGuard includes vaccine-related misinformation generated by multiple LLMs and provides a comprehensive framework for detecting misinformation across various roles. Our findings show that GPT-3.5 and GPT-4o consistently outperform other LLMs in detecting misinformation, especially when dealing with subtle or emotionally charged narratives. On the other hand, PHI3 and Mistral show lower performance, struggling with precision and recall in fear-driven contexts. Additionally, detection performance tends to decline as input text length increases, indicating the need for improved methods to handle larger content. These results highlight the importance of role-specific detection strategies and suggest that VaxGuard can serve as a key resource for improving the detection of LLM-generated vaccine misinformation.