Simulating Misinformation Vulnerabilities With Agent Personas

📄 arXiv: 2511.04697v1 📥 PDF

作者: David Farr, Lynnette Hui Xian Ng, Stephen Prochaska, Iain J. Cruickshank, Jevin West

分类: cs.SI, cs.AI, cs.CL

发布日期: 2025-10-31

备注: Accepted to Winter Simulation Conference 2025

💡 一句话要点

利用Agent Persona模拟信息误导的脆弱性，评估不同群体对虚假信息的反应。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Agent-based modeling 信息误导 虚假信息检测 思维模式 社会模拟 自然语言处理

📋 核心要点

  1. 现实世界中进行信息误导实验存在伦理挑战和实践困难，难以有效评估不同人群对虚假信息的反应。
  2. 利用大型语言模型（LLM）构建具有不同职业和思维模式的Agent Persona，模拟其对新闻标题的反应，以此评估信息误导的脆弱性。
  3. 实验结果表明，LLM生成的Agent与人类预测高度一致，且思维模式比职业背景更能影响Agent对虚假信息的解读。

📝 摘要（中文）

虚假信息传播活动会扭曲公众认知并破坏社会机构的稳定。了解不同人群对信息如何反应对于设计有效的干预措施至关重要，但现实世界的实验在实践中不可行且存在伦理挑战。为了解决这个问题，我们开发了一种基于Agent的模拟，使用大型语言模型（LLM）来模拟对虚假信息的反应。我们构建了涵盖五个职业和三种思维模式的Agent Persona，并评估他们对新闻标题的反应。我们的研究结果表明，LLM生成的Agent与真实标签和人类预测高度一致，支持将其用作研究信息反应的代理。我们还发现，思维模式比职业背景更能影响Agent如何解读虚假信息。这项工作验证了LLM作为信息网络中基于Agent模型的可用性，可用于分析复杂社会系统中的信任、两极分化以及对欺骗性内容的敏感性。

🔬 方法详解

问题定义：该论文旨在解决如何有效且合乎伦理地评估不同人群对虚假信息的反应这一问题。现有方法，如真实世界实验，存在伦理风险和操作难度，难以大规模进行。因此，需要一种能够模拟人群反应，且成本较低、风险可控的方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，构建具有不同背景和思维模式的Agent Persona，模拟其对新闻标题的反应。通过分析这些Agent的反应，可以推断出不同人群对虚假信息的脆弱性。这种方法的核心在于将LLM作为人群反应的代理，从而避免了真实世界实验的伦理问题和操作难度。

技术框架：整体框架包含以下几个主要模块： 1. Agent Persona构建：基于五个职业（例如，医生、律师）和三种思维模式（未知）定义Agent Persona。 2. 新闻标题输入：将新闻标题（包括真实和虚假信息）输入到Agent中。 3. LLM反应生成：利用LLM生成Agent对新闻标题的反应，例如，判断新闻的真实性、表达对新闻的看法等。 4. 反应评估：将LLM生成的反应与真实标签和人类预测进行比较，评估LLM作为人群反应代理的有效性。 5. 结果分析：分析不同职业和思维模式的Agent对虚假信息的反应差异，从而了解不同人群的脆弱性。

关键创新：该论文的关键创新在于将LLM应用于Agent-based modeling，用于模拟人群对虚假信息的反应。与传统的基于规则或统计模型的Agent-based modeling相比，LLM能够生成更自然、更复杂的反应，更接近真实人类的行为。此外，该论文还关注了思维模式对信息反应的影响，这在以往的研究中较少被关注。

关键设计：论文的关键设计包括： 1. Agent Persona的定义：选择具有代表性的职业和思维模式，以覆盖不同的人群。 2. LLM的选择和配置：选择合适的LLM，并进行适当的微调或提示工程，以提高生成反应的质量。 3. 反应评估指标：设计合适的指标来评估LLM生成的反应与真实标签和人类预测的相似度。 4. 实验设计：设计合理的实验流程，以控制变量，并确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM生成的Agent与真实标签和人类预测高度一致，验证了LLM作为人群反应代理的有效性。此外，研究发现思维模式比职业背景更能影响Agent对虚假信息的解读，这为理解信息误导的脆弱性提供了新的视角。具体的性能数据和提升幅度在摘要中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于多个领域，例如：评估不同人群对特定虚假信息的脆弱性，从而制定更有针对性的辟谣策略；预测社交媒体上虚假信息的传播趋势，以便及时采取干预措施；设计更有效的网络安全教育项目，提高公众的信息素养。此外，该方法还可以扩展到其他领域，例如，模拟消费者对新产品的反应，评估政策的影响等。

📄 摘要（原文）

Disinformation campaigns can distort public perception and destabilize institutions. Understanding how different populations respond to information is crucial for designing effective interventions, yet real-world experimentation is impractical and ethically challenging. To address this, we develop an agent-based simulation using Large Language Models (LLMs) to model responses to misinformation. We construct agent personas spanning five professions and three mental schemas, and evaluate their reactions to news headlines. Our findings show that LLM-generated agents align closely with ground-truth labels and human predictions, supporting their use as proxies for studying information responses. We also find that mental schemas, more than professional background, influence how agents interpret misinformation. This work provides a validation of LLMs to be used as agents in an agent-based model of an information network for analyzing trust, polarization, and susceptibility to deceptive content in complex social systems.