Can (A)I Change Your Mind?

📄 arXiv: 2503.01844v3 📥 PDF

作者: Miriam Havin, Timna Wharton Kleinman, Moran Koren, Yaniv Dover, Ariel Goldstein

分类: cs.CL

发布日期: 2025-03-03 (更新: 2025-05-13)

备注: Accetped to CogSci 2025

💡 一句话要点

研究表明：大型语言模型在希伯来语环境下能有效改变人类观点

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 说服力 观点改变 希伯来语 人机交互

📋 核心要点

  1. 现有研究主要集中在受控的英语环境中，缺乏对LLM在更自然场景下说服力的考察。
  2. 本研究在希伯来语环境下，通过静态文本和动态对话两种方式，评估LLM的说服能力。
  3. 实验结果表明，LLM和人类的说服效果相似，都能显著改变参与者的观点，并提高其信心。

📝 摘要（中文）

本研究探讨了基于大型语言模型（LLM）的对话智能体在日常生活中对人类观点的影响。虽然以往研究表明LLM可以生成有说服力的内容，但多局限于受控的英语环境。本研究在更自然、无约束的场景下，考察了LLM的说服能力，包括静态（书面段落）和动态（Telegram对话）两种交互方式。研究完全在希伯来语环境下进行，共有200名参与者，评估了LLM和人类对话者在有争议的民事政策议题上的说服效果。结果表明，参与者对LLM和人类的观点接受程度相似，所有条件下都观察到显著的观点改变，与对话者类型或交互模式无关。大多数情况下，参与者的信心水平显著提高。这些发现表明，LLM在不同来源和环境下都具有强大的说服能力，突显了它们对塑造公众舆论的潜在影响。

🔬 方法详解

问题定义：本研究旨在评估大型语言模型（LLM）在实际场景中影响人类观点的能力。现有研究主要集中在受控的英语环境中，缺乏对LLM在其他语言和更自然交互方式下说服力的考察。因此，本研究关注LLM在希伯来语环境下，通过静态文本和动态对话两种方式，对人类观点的影响。

核心思路：核心思路是将LLM作为对话者，与人类参与者就具有争议性的民事政策议题进行互动，并评估参与者在互动前后观点的变化。通过对比LLM和人类的说服效果，以及静态文本和动态对话两种交互方式的影响，来揭示LLM在实际场景中的说服能力。

技术框架：研究采用实验设计，招募200名希伯来语使用者作为参与者。实验分为四个条件：1) LLM静态文本；2) LLM动态对话；3) 人类静态文本；4) 人类动态对话。参与者首先填写一份关于民事政策议题的问卷，然后根据分配的条件与LLM或人类进行互动，最后再次填写同样的问卷。通过比较两次问卷的结果，评估参与者观点的变化。

关键创新：本研究的关键创新在于：1) 在希伯来语环境下评估LLM的说服能力，拓展了现有研究的语言范围；2) 采用静态文本和动态对话两种交互方式，更贴近实际应用场景；3) 对比LLM和人类的说服效果，揭示了LLM作为对话者的独特优势和局限性。

关键设计：研究中，LLM采用预训练的语言模型，并针对希伯来语进行了微调。动态对话通过Telegram平台进行，保证了交互的自然性和实时性。民事政策议题的选择经过精心设计，确保具有争议性，且与参与者的日常生活相关。问卷采用李克特量表，评估参与者对议题的观点强度。统计分析采用配对t检验和方差分析，评估不同条件下观点的变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM和人类的说服效果相似，都能显著改变参与者的观点。所有条件下都观察到显著的观点改变，与对话者类型或交互模式无关。大多数情况下，参与者的信心水平显著提高。这表明LLM在不同来源和环境下都具有强大的说服能力。

🎯 应用场景

该研究结果对理解和评估AI在公共领域的影响具有重要意义。潜在应用包括：舆情分析、政策制定、在线教育、心理咨询等。未来可进一步研究AI说服力的伦理问题，以及如何利用AI促进更理性、更具建设性的社会对话。

📄 摘要（原文）

The increasing integration of large language models (LLMs) based conversational agents into everyday life raises critical cognitive and social questions about their potential to influence human opinions. Although previous studies have shown that LLM-based agents can generate persuasive content, these typically involve controlled English-language settings. Addressing this, our preregistered study explored LLMs' persuasive capabilities in more ecological, unconstrained scenarios, examining both static (written paragraphs) and dynamic (conversations via Telegram) interaction types. Conducted entirely in Hebrew with 200 participants, the study assessed the persuasive effects of both LLM and human interlocutors on controversial civil policy topics. Results indicated that participants adopted LLM and human perspectives similarly, with significant opinion changes evident across all conditions, regardless of interlocutor type or interaction mode. Confidence levels increased significantly in most scenarios. These findings demonstrate LLM-based agents' robust persuasive capabilities across diverse sources and settings, highlighting their potential impact on shaping public opinions.