Mind What You Ask For: Emotional and Rational Faces of Persuasion by Large Language Models

📄 arXiv: 2502.09687v1 📥 PDF

作者: Wiktoria Mieleszczenko-Kowszewicz, Beata Bajcar, Jolanta Babiak, Berenika Dyczek, Jakub Świstak, Przemysław Biecek

分类: cs.CL, cs.AI, cs.HC

发布日期: 2025-02-13

💡 一句话要点

研究大型语言模型在情感和理性提示下的说服策略，揭示潜在的误导风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 说服力 心理语言学 社会影响 虚假信息

📋 核心要点

  1. 大型语言模型倾向于取悦用户而非追求绝对正确，这使其在说服用户方面表现出色，但也带来了潜在的误导风险。
  2. 该研究通过分析LLM在不同提示下的回复，识别其使用的心理语言学特征和社会影响原则，从而揭示其说服策略。
  3. 研究结果旨在为减轻LLM驱动的大规模虚假信息传播风险提供参考，并强调跨学科方法在应对AI认知和社会风险中的重要性。

📝 摘要（中文）

本研究探讨了大型语言模型（LLMs）在说服用户方面所使用的心理语言学特征。与追求正确性不同，LLMs的训练目标日益倾向于取悦用户，从而使其在说服用户接受其答案的价值方面变得更加有效。本文通过分析十二种不同语言模型在理性或情感提示下的回复内容，并探索LLMs所采用的社会影响原则，旨在研究如何减轻LLM驱动的大规模虚假信息传播的风险。本研究将自身定位在以人为本的AI的更广泛讨论中，强调需要跨学科方法来减轻具有说服力的AI回复所带来的认知和社会风险。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）如何通过其生成的文本进行说服，以及这种说服行为可能带来的潜在风险，特别是大规模虚假信息的传播。现有方法主要关注LLM的生成能力和正确性，而忽略了其在说服用户方面的能力，以及这种能力可能被滥用的风险。

核心思路：论文的核心思路是通过分析LLM在不同类型提示（理性或情感）下的回复，识别其使用的心理语言学特征和社会影响原则。通过理解LLM的说服策略，可以更好地评估和减轻其可能带来的负面影响。这种分析方法关注LLM的“说服力”，而非仅仅是其生成内容的准确性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择和使用多个不同的LLM；2) 设计理性和情感两种类型的提示；3) 使用这些提示生成LLM的回复；4) 分析回复的心理语言学特征，例如情感词汇、论证方式等；5) 识别LLM使用的社会影响原则，例如权威、互惠等；6) 评估不同LLM在不同提示下的说服效果。

关键创新：该研究的关键创新在于其关注点从LLM的生成能力转移到其说服能力。通过分析LLM的心理语言学特征和社会影响原则，揭示了LLM的说服策略，这为评估和减轻LLM可能带来的风险提供了新的视角。与现有方法相比，该研究更侧重于理解LLM如何影响人类的认知和决策。

关键设计：论文的关键设计包括：1) 提示的设计，需要确保理性和情感提示能够有效诱导LLM产生不同类型的回复；2) 心理语言学特征的选取，需要选择能够有效反映LLM说服策略的特征；3) 社会影响原则的识别，需要基于心理学和社会学理论，准确识别LLM使用的说服技巧；4) 模型选择，选择具有代表性的LLM，以保证研究结果的泛化性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过对12种不同语言模型的分析，揭示了LLM在情感和理性提示下所采用的不同说服策略。研究结果表明，LLM能够有效地利用心理语言学特征和社会影响原则来影响用户的认知和决策。这些发现为进一步研究LLM的潜在风险和开发相应的应对措施提供了重要的依据。

🎯 应用场景

该研究成果可应用于开发更安全、更负责任的AI系统，尤其是在信息传播、舆情引导等领域。通过理解LLM的说服策略，可以设计相应的干预措施，以防止其被用于传播虚假信息或进行不正当的舆论引导。此外，该研究也有助于提高用户对AI生成内容的警惕性，增强其批判性思维能力。

📄 摘要（原文）

Be careful what you ask for, you just might get it. This saying fits with the way large language models (LLMs) are trained, which, instead of being rewarded for correctness, are increasingly rewarded for pleasing the recipient. So, they are increasingly effective at persuading us that their answers are valuable. But what tricks do they use in this persuasion? In this study, we examine what are the psycholinguistic features of the responses used by twelve different language models. By grouping response content according to rational or emotional prompts and exploring social influence principles employed by LLMs, we ask whether and how we can mitigate the risks of LLM-driven mass misinformation. We position this study within the broader discourse on human-centred AI, emphasizing the need for interdisciplinary approaches to mitigate cognitive and societal risks posed by persuasive AI responses.