How does Misinformation Affect Large Language Model Behaviors and Preferences?

📄 arXiv: 2505.21608v1 📥 PDF

作者: Miao Peng, Nuo Chen, Jianheng Tang, Jia Li

分类: cs.CL, cs.AI

发布日期: 2025-05-27

备注: Accepted to ACL 2025 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出MisBench基准，分析并提升大语言模型对虚假信息的辨别能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 虚假信息检测 基准测试 知识冲突 文体变化

📋 核心要点

  1. 现有研究缺乏对LLM受虚假信息影响的细粒度分析，无法有效评估其在复杂场景下的鲁棒性。
  2. 论文提出MisBench基准，包含大量多样化的虚假信息，用于全面评估LLM的行为和知识偏好。
  3. 实验表明LLM易受知识冲突和文体变化影响，并提出RtD方法提升LLM检测虚假信息的能力。

📝 摘要（中文）

大型语言模型(LLMs)在知识密集型任务中表现出卓越的能力，但当遇到虚假信息时仍然很脆弱。现有研究已经探索了LLMs在对抗虚假信息方面的作用，但仍然缺乏对LLMs受虚假信息影响的具体方面和程度的细粒度分析。为了弥补这一差距，我们提出了MisBench，这是目前最大、最全面的基准，用于评估LLMs对虚假信息的行为和知识偏好。MisBench包含10,346,712条虚假信息，独特地考虑了基于知识的冲突和虚假信息中的文体变化。实证结果表明，虽然LLMs在辨别虚假信息方面表现出相当的能力，但它们仍然容易受到知识冲突和文体变化的影响。基于这些发现，我们进一步提出了一种名为Reconstruct to Discriminate (RtD)的新方法，以加强LLMs检测虚假信息的能力。我们的研究为LLMs与虚假信息的交互提供了有价值的见解，我们相信MisBench可以作为一个有效的基准，用于评估基于LLM的检测器，并提高它们在实际应用中的可靠性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在面对虚假信息时表现出的脆弱性问题。现有方法缺乏对LLMs受虚假信息影响的具体方面和程度的细粒度分析，难以全面评估LLMs在复杂场景下的鲁棒性。因此，需要一个更全面、更细致的基准来评估和提升LLMs对虚假信息的辨别能力。

核心思路：论文的核心思路是构建一个大规模、多样化的虚假信息基准MisBench，并基于该基准分析LLMs在面对不同类型的虚假信息时的行为和知识偏好。通过分析LLMs的弱点，提出一种新的方法Reconstruct to Discriminate (RtD)来提升LLMs检测虚假信息的能力。这种设计旨在通过更全面的评估和更有针对性的方法来提高LLMs的可靠性。

技术框架：MisBench基准包含10,346,712条虚假信息，这些信息在知识层面和文体层面都存在差异。论文首先利用MisBench评估LLMs对虚假信息的辨别能力，然后分析LLMs的弱点。基于分析结果，提出RtD方法，该方法包含两个阶段：重构阶段和判别阶段。在重构阶段，LLM尝试重构输入信息；在判别阶段，LLM基于重构的信息和原始信息来判断信息是否为虚假信息。

关键创新：论文的关键创新在于：1) 构建了目前最大、最全面的虚假信息基准MisBench，该基准考虑了知识冲突和文体变化；2) 提出了Reconstruct to Discriminate (RtD)方法，该方法通过重构信息来辅助LLM判断信息是否为虚假信息。与现有方法相比，MisBench提供了更全面的评估，RtD方法提供了更有效的解决方案。

关键设计：关于RtD方法，重构阶段的具体实现方式未知，论文中可能使用了某种生成模型或者prompt工程来引导LLM进行信息重构。判别阶段可能使用了二元分类器，输入是原始信息和重构信息，输出是信息是否为虚假信息的概率。具体的损失函数和网络结构等技术细节在论文中没有详细描述，需要进一步查阅论文原文或代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在辨别虚假信息方面表现出相当的能力，但仍然容易受到知识冲突和文体变化的影响。提出的RtD方法能够有效提升LLMs检测虚假信息的能力，具体提升幅度未知，需要在论文中查找具体数据。MisBench基准的发布为后续研究提供了重要的资源。

🎯 应用场景

该研究成果可应用于提升搜索引擎、新闻推荐系统、社交媒体平台等的信息质量和可信度。通过提高LLM对虚假信息的辨别能力，可以有效减少虚假信息的传播，维护网络空间的健康和安全。未来，该研究可以扩展到其他类型的虚假信息检测，例如恶意软件检测、网络钓鱼检测等。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable capabilities in knowledge-intensive tasks, while they remain vulnerable when encountering misinformation. Existing studies have explored the role of LLMs in combating misinformation, but there is still a lack of fine-grained analysis on the specific aspects and extent to which LLMs are influenced by misinformation. To bridge this gap, we present MisBench, the current largest and most comprehensive benchmark for evaluating LLMs' behavior and knowledge preference toward misinformation. MisBench consists of 10,346,712 pieces of misinformation, which uniquely considers both knowledge-based conflicts and stylistic variations in misinformation. Empirical results reveal that while LLMs demonstrate comparable abilities in discerning misinformation, they still remain susceptible to knowledge conflicts and stylistic variations. Based on these findings, we further propose a novel approach called Reconstruct to Discriminate (RtD) to strengthen LLMs' ability to detect misinformation. Our study provides valuable insights into LLMs' interactions with misinformation, and we believe MisBench can serve as an effective benchmark for evaluating LLM-based detectors and enhancing their reliability in real-world applications. Codes and data are available at https://github.com/GKNL/MisBench.