Persuasion at Play: Understanding Misinformation Dynamics in Demographic-Aware Human-LLM Interactions
作者: Angana Borah, Rada Mihalcea, Verónica Pérez-Rosas
分类: cs.CL
发布日期: 2025-03-03 (更新: 2025-10-14)
💡 一句话要点
研究人口统计学背景下人-LLM交互中的错误信息传播动态
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 错误信息 人口统计学 人机交互 多智能体系统
📋 核心要点
- 现有研究表明，不同人口群体对错误信息的易感性存在差异，但缺乏对LLM在此过程中作用的深入理解。
- 该研究通过分析人与LLM之间的双向说服动态，以及LLM智能体间的交互，揭示了人口统计学因素在错误信息传播中的影响。
- 实验表明，LLM对错误信息的易感性与人类相似，且多智能体LLM表现出回音室效应，验证了人口统计学偏见在LLM中的存在。
📝 摘要（中文）
由于某些人群比其他人群更容易受到错误信息的影响，因此错误信息暴露和易感性方面现有的挑战在不同的人口群体中有所不同。大型语言模型（LLM）通过大规模生成有说服力的内容并强化现有偏见，为这些挑战引入了新的维度。本研究调查了LLM和人类在接触错误信息内容时双向说服的动态。我们使用人类立场数据集分析了人类对LLM的影响，并通过生成基于LLM的有说服力的论点来评估LLM对人类的影响。此外，我们使用多智能体LLM框架来分析在具有人口统计学导向的LLM智能体之间，错误信息在说服下的传播。我们的研究结果表明，人口统计学因素会影响LLM中对错误信息的易感性，这与人类易感性中基于人口统计学的模式非常相似。我们还发现，与人类人口群体类似，多智能体LLM表现出回音室行为。这项研究探讨了人类和LLM之间的相互作用，突出了错误信息背景下的人口统计学差异，并为未来的干预措施提供了见解。
🔬 方法详解
问题定义：该论文旨在研究在人与大型语言模型（LLM）交互过程中，错误信息如何传播，以及人口统计学因素在其中扮演的角色。现有方法缺乏对LLM在错误信息传播中作用的深入理解，特别是LLM如何受到人类的影响，以及LLM又如何影响人类，以及不同人口统计学背景下的LLM个体之间的交互。
核心思路：核心思路是分析人与LLM之间的双向说服动态，并模拟具有不同人口统计学特征的LLM智能体之间的交互。通过这种方式，研究人员可以揭示人口统计学因素如何影响LLM对错误信息的易感性，以及LLM如何强化或改变人类的观点。该思路的设计基于一个假设：LLM的行为会受到其训练数据中存在的偏见的影响，并且这些偏见会反映在LLM与人类的交互中。
技术框架：该研究采用了以下技术框架： 1. 人类-LLM交互分析：使用人类立场数据集分析人类对LLM的影响。 2. LLM-人类交互分析：生成基于LLM的有说服力的论点，评估LLM对人类的影响。 3. 多智能体LLM框架：构建具有不同人口统计学特征的LLM智能体，模拟它们之间的交互，分析错误信息在智能体间的传播。
关键创新：该研究的关键创新在于： 1. 双向说服动态分析：同时考虑了人类对LLM的影响和LLM对人类的影响，而不仅仅是单向的影响。 2. 多智能体LLM模拟：使用多智能体框架模拟了具有不同人口统计学特征的LLM智能体之间的交互，这有助于理解错误信息在群体中的传播。 3. 人口统计学因素的关注：强调了人口统计学因素在错误信息传播中的作用，这有助于更好地理解和解决错误信息问题。
关键设计： 1. 人口统计学特征的定义：研究中需要定义和量化不同的人口统计学特征，例如年龄、性别、教育程度等。这些特征将用于构建具有不同特征的LLM智能体。 2. 说服力评估指标：需要设计合适的指标来评估LLM生成的论点的说服力，以及人类对LLM论点的接受程度。 3. 多智能体交互协议：需要定义LLM智能体之间的交互协议，例如信息共享的方式、说服策略等。
🖼️ 关键图片
📊 实验亮点
研究发现，LLM对错误信息的易感性受到人口统计学因素的影响，与人类的易感性模式相似。此外，多智能体LLM模拟显示，LLM智能体之间存在回音室效应，即具有相似观点的智能体更容易相互影响，从而强化彼此的观点。这些发现表明，LLM可能会放大社会中的现有偏见，并加剧错误信息的传播。
🎯 应用场景
该研究的潜在应用领域包括：开发更可靠的LLM，减少其对错误信息的传播；设计针对特定人群的教育项目，提高其对错误信息的识别能力；构建更有效的在线平台，减少错误信息的传播。研究结果有助于理解和应对社交媒体和在线社区中错误信息传播的挑战，并为制定相关政策提供参考。
📄 摘要（原文）
Existing challenges in misinformation exposure and susceptibility vary across demographic groups, as some populations are more vulnerable to misinformation than others. Large language models (LLMs) introduce new dimensions to these challenges through their ability to generate persuasive content at scale and reinforcing existing biases. This study investigates the bidirectional persuasion dynamics between LLMs and humans when exposed to misinformative content. We analyze human-to-LLM influence using human-stance datasets and assess LLM-to-human influence by generating LLM-based persuasive arguments. Additionally, we use a multi-agent LLM framework to analyze the spread of misinformation under persuasion among demographic-oriented LLM agents. Our findings show that demographic factors influence susceptibility to misinformation in LLMs, closely reflecting the demographic-based patterns seen in human susceptibility. We also find that, similar to human demographic groups, multi-agent LLMs exhibit echo chamber behavior. This research explores the interplay between humans and LLMs, highlighting demographic differences in the context of misinformation and offering insights for future interventions.