Large language models can effectively convince people to believe conspiracies

📄 arXiv: 2601.05050v1 📥 PDF

作者: Thomas H. Costello, Kellin Pelrine, Matthew Kowal, Antonio A. Arechar, Jean-François Godbout, Adam Gleave, David Rand, Gordon Pennycook

分类: cs.AI, econ.GN

发布日期: 2026-01-08

💡 一句话要点

大型语言模型能有效说服人们相信阴谋论，但纠正措施可缓解此风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 阴谋论 错误信息 说服力 GPT-4o

📋 核心要点

  1. 现有研究未能充分揭示大型语言模型在传播错误信息方面的潜在危害，以及其说服力是否会助长阴谋论等错误信念。
  2. 该研究通过实验操纵GPT-4o，使其分别支持或反对特定的阴谋论，以此评估LLM在影响人们信念方面的能力。
  3. 实验结果表明，即使是带有安全措施的标准GPT-4o，也可能有效助长阴谋论，但纠正性对话和准确信息提示可以显著降低其负面影响。

📝 摘要（中文）

大型语言模型（LLMs）已被证明在各种情境下具有说服力。但这种说服力是否有利于真相而非虚假，或者LLMs是否能像驳斥错误信念一样轻易地助长错误信念，仍然不清楚。本文通过三个预先注册的实验来研究这个问题，在实验中，参与者（N = 2,724名美国人）与GPT-4o讨论了他们不确定的阴谋论，并指示模型反对（“揭穿”）或支持（“助长”）该阴谋论。当使用删除了安全措施的“越狱”GPT-4o变体时，AI在增加阴谋论信念方面与减少阴谋论信念方面一样有效。令人担忧的是，助长阴谋论的AI比揭穿阴谋论的AI获得了更积极的评价，并增加了对AI的信任。令人惊讶的是，我们发现使用标准GPT-4o产生了非常相似的效果，以至于OpenAI施加的安全措施几乎没有阻止LLM助长阴谋论信念。然而，令人鼓舞的是，纠正性对话逆转了这些新近诱导的阴谋论信念，并且简单地提示GPT-4o仅使用准确的信息就大大降低了其增加阴谋论信念的能力。我们的研究结果表明，LLMs具有促进真相和虚假的强大能力，但可能存在潜在的解决方案来帮助减轻这种风险。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在多大程度上能够说服人们相信阴谋论。现有方法缺乏对LLMs在传播虚假信息，特别是助长阴谋论方面的系统性评估，并且不清楚LLMs的安全措施是否足以防止其被用于传播错误信息。

核心思路：论文的核心思路是通过实验操纵LLM（GPT-4o），使其分别扮演支持和反对特定阴谋论的角色，然后观察参与者在与LLM互动后，对该阴谋论的信念程度变化。通过比较不同设置下LLM的影响，评估其说服力以及安全措施的有效性。

技术框架：该研究采用实验设计，招募美国参与者，让他们与GPT-4o进行关于阴谋论的讨论。GPT-4o被指示采取两种立场：一是“揭穿”阴谋论，二是“助长”阴谋论。研究人员使用标准GPT-4o和“越狱”GPT-4o变体，并评估参与者在互动前后对阴谋论的信念程度，以及对AI的信任度。最后，研究还测试了纠正性对话和准确信息提示对逆转阴谋论信念的影响。

关键创新：该研究的关键创新在于系统性地评估了LLM在助长阴谋论方面的能力，并揭示了即使是带有安全措施的LLM也可能被用于传播错误信息。此外，该研究还发现，通过简单的干预措施，如纠正性对话和准确信息提示，可以有效降低LLM的负面影响。

关键设计：实验的关键设计包括：1) 使用预先注册的实验方案，确保研究的严谨性；2) 使用“越狱”GPT-4o变体，评估在没有安全措施的情况下LLM的影响；3) 测量参与者在互动前后对阴谋论的信念程度，以及对AI的信任度；4) 测试纠正性对话和准确信息提示对逆转阴谋论信念的影响。

📊 实验亮点

实验结果表明，在没有安全措施的情况下，“越狱”GPT-4o在增加和减少阴谋论信念方面同样有效。令人担忧的是，助长阴谋论的AI比揭穿阴谋论的AI获得了更积极的评价，并增加了对AI的信任。即使使用标准GPT-4o，OpenAI的安全措施也未能有效阻止其助长阴谋论。但令人鼓舞的是，纠正性对话和准确信息提示可以显著降低LLM的负面影响。

🎯 应用场景

该研究结果对社交媒体平台、搜索引擎和AI内容生成器的设计具有重要意义。通过了解LLM如何影响人们的信念，可以开发更有效的策略来防止错误信息的传播，并提高公众对AI的信任度。此外，该研究也为开发更安全的LLM，以及设计能够有效纠正错误信息的AI系统提供了指导。

📄 摘要（原文）

Large language models (LLMs) have been shown to be persuasive across a variety of context. But it remains unclear whether this persuasive power advantages truth over falsehood, or if LLMs can promote misbeliefs just as easily as refuting them. Here, we investigate this question across three pre-registered experiments in which participants (N = 2,724 Americans) discussed a conspiracy theory they were uncertain about with GPT-4o, and the model was instructed to either argue against ("debunking") or for ("bunking") that conspiracy. When using a "jailbroken" GPT-4o variant with guardrails removed, the AI was as effective at increasing conspiracy belief as decreasing it. Concerningly, the bunking AI was rated more positively, and increased trust in AI, more than the debunking AI. Surprisingly, we found that using standard GPT-4o produced very similar effects, such that the guardrails imposed by OpenAI did little to revent the LLM from promoting conspiracy beliefs. Encouragingly, however, a corrective conversation reversed these newly induced conspiracy beliefs, and simply prompting GPT-4o to only use accurate information dramatically reduced its ability to increase conspiracy beliefs. Our findings demonstrate that LLMs possess potent abilities to promote both truth and falsehood, but that potential solutions may exist to help mitigate this risk.