Large Language Models Are More Persuasive Than Incentivized Human Persuaders
作者: Philipp Schoenegger, Francesco Salvi, Jiacheng Liu, Xiaoli Nan, Ramit Debnath, Barbara Fasolo, Evelina Leivada, Gabriel Recchia, Fritz Günther, Ali Zarifhonarvar, Joe Kwon, Zahoor Ul Islam, Marco Dehnert, Daryl Y. H. Lee, Madeline G. Reinecke, David G. Kamper, Mert Kobaş, Adam Sandford, Jonas Kgomo, Luke Hewitt, Shreya Kapoor, Kerem Oktar, Eyup Engin Kucuk, Bo Feng, Cameron R. Jones, Izzy Gainsburg, Sebastian Olschewski, Nora Heinzelmann, Francisco Cruz, Ben M. Tappin, Tao Ma, Peter S. Park, Rayan Onyonka, Arthur Hjorth, Peter Slattery, Qingcheng Zeng, Lennart Finke, Igor Grossmann, Alessandro Salatiello, Ezra Karger
分类: cs.CL
发布日期: 2025-05-14 (更新: 2025-05-21)
💡 一句话要点
比较大型语言模型与人类说服者的说服能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 说服能力 人类行为 激励机制 实验研究
📋 核心要点
- 现有方法中，人类说服者的表现受限于激励机制，可能无法达到最佳说服效果。
- 论文提出通过大型语言模型（LLM）进行说服，利用其强大的语言生成能力来提升说服效果。
- 实验结果显示，LLM说服者在引导参与者回答正确问题时，遵从度显著高于人类说服者，且准确性提升明显。
📝 摘要（中文）
本研究直接比较了前沿大型语言模型（LLM；Claude Sonnet 3.5）与激励人类说服者在互动实时问答环境中的说服能力。在这一大规模的激励实验中，参与者完成在线问答，试图被说服者（人类或LLM）引导至正确或错误答案。研究发现，LLM说服者在其说服尝试中显著提高了参与者的遵从度，显示出在真实和虚假情境下的优越说服能力。此外，LLM说服者在引导参与者朝向正确答案时显著提高了准确性，而在引导错误答案时则显著降低了准确性。这些发现表明，AI的说服能力已超越了与实际奖金挂钩的人类表现，强调了对新兴对齐和治理框架的迫切需求。
🔬 方法详解
问题定义：本研究旨在解决人类说服者在激励机制下的表现不足，探讨大型语言模型在说服能力上的潜力。现有方法中，人类说服者的表现受限于激励机制，可能无法达到最佳说服效果。
核心思路：论文的核心解决思路是利用大型语言模型（LLM）进行说服，利用其强大的语言生成能力来提升说服效果。通过对比LLM与人类说服者的表现，验证LLM在说服能力上的优势。
技术框架：整体架构包括在线问答平台，参与者作为问答者，LLM和人类作为说服者。实验通过实时互动进行，记录参与者的反应和选择。
关键创新：最重要的技术创新点在于首次系统性地比较了LLM与人类说服者的说服能力，揭示了LLM在说服效果上的显著优势。与现有方法的本质区别在于，LLM能够在更广泛的上下文中生成更具说服力的内容。
关键设计：实验中设置了不同的激励机制，评估参与者在不同情况下的表现。使用了特定的评分标准来衡量说服效果，包括遵从度和准确性等指标。
📊 实验亮点
实验结果显示，LLM说服者在引导参与者回答正确问题时，遵从度显著高于激励人类说服者，且准确性提升幅度达到显著水平。这表明AI的说服能力已经超越了与实际奖金挂钩的人类表现，强调了对新兴对齐和治理框架的迫切需求。
🎯 应用场景
该研究的潜在应用领域包括教育、市场营销和心理学等。通过利用大型语言模型的说服能力，可以在教育中帮助学生更好地理解知识，在市场营销中提升消费者的购买决策，甚至在心理干预中提供有效的沟通策略。未来，随着AI技术的不断进步，这些应用可能会更加普及和深入。
📄 摘要（原文）
We directly compare the persuasion capabilities of a frontier large language model (LLM; Claude Sonnet 3.5) against incentivized human persuaders in an interactive, real-time conversational quiz setting. In this preregistered, large-scale incentivized experiment, participants (quiz takers) completed an online quiz where persuaders (either humans or LLMs) attempted to persuade quiz takers toward correct or incorrect answers. We find that LLM persuaders achieved significantly higher compliance with their directional persuasion attempts than incentivized human persuaders, demonstrating superior persuasive capabilities in both truthful (toward correct answers) and deceptive (toward incorrect answers) contexts. We also find that LLM persuaders significantly increased quiz takers' accuracy, leading to higher earnings, when steering quiz takers toward correct answers, and significantly decreased their accuracy, leading to lower earnings, when steering them toward incorrect answers. Overall, our findings suggest that AI's persuasion capabilities already exceed those of humans that have real-money bonuses tied to performance. Our findings of increasingly capable AI persuaders thus underscore the urgency of emerging alignment and governance frameworks.