A Framework to Assess the Persuasion Risks Large Language Model Chatbots Pose to Democratic Societies
作者: Zhongren Chen, Joshua Kalla, Quan Le, Shinpei Nakamura-Sakai, Jasjeet Sekhon, Ruixiao Wang
分类: cs.CL, cs.CY
发布日期: 2025-04-29
💡 一句话要点
评估大型语言模型聊天机器人对民主社会构成的说服风险框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治说服 聊天机器人 民主社会 成本效益分析
📋 核心要点
- 现有研究缺乏对LLM聊天机器人长期说服效果和大规模应用成本的全面评估，难以准确衡量其对民主社会的影响。
- 该研究通过调查实验和真实场景模拟，对比LLM聊天机器人与传统政治竞选的说服效果和成本，评估其潜在风险。
- 实验结果表明，LLM的说服力与传统竞选广告相当，但大规模应用仍面临挑战，未来发展值得关注。
📝 摘要（中文）
近年来，大型语言模型（LLM）凭借其说服能力对民主社会构成潜在威胁，引发了广泛关注。本文扩展了现有研究，通过两次调查实验和一个真实场景模拟，评估了使用LLM聊天机器人说服大量选民的成本效益，并与标准政治竞选实践进行比较，同时考虑了说服过程中的“接收”和“接受”两个步骤。这些实验改进了先前的工作，评估了人与LLM之间的扩展互动（而非单次互动），并评估了短期和长期说服效果（而不仅仅是要求用户评估LLM生成内容的说服力）。在三个不同的政治领域进行的两次调查实验（N = 10,417）中，我们发现，一旦选民接触到LLM，LLM的说服力与实际竞选广告相当。然而，现实世界中的政治说服取决于接触到有说服力的信息以及接触后的影响。通过基于真实世界参数的模拟，我们估计，考虑到曝光成本，基于LLM的说服每个被说服的选民成本在48-74美元之间，而传统竞选方法的成本为100美元。然而，目前扩展传统竞选说服方法比基于LLM的说服方法容易得多。虽然LLM目前似乎没有比现有的非LLM方法具有更大的大规模政治说服潜力，但随着LLM能力的不断提高以及鼓励大规模接触有说服力的LLM变得更容易，这种情况可能会改变。
🔬 方法详解
问题定义：论文旨在评估大型语言模型（LLM）聊天机器人对民主社会构成的说服风险，具体而言，是评估使用LLM聊天机器人进行大规模政治说服的成本效益，并与传统的政治竞选方法进行比较。现有方法的痛点在于，它们通常只关注LLM生成内容的说服力评估，而忽略了实际应用中选民的接触成本和长期影响。
核心思路：论文的核心思路是通过结合调查实验和真实场景模拟，全面评估LLM聊天机器人在政治说服过程中的“接收”和“接受”两个阶段。通过模拟真实世界的政治竞选环境，评估LLM聊天机器人说服选民的成本，并与传统方法进行对比，从而更准确地评估其潜在风险。
技术框架：该研究的技术框架主要包括以下几个阶段： 1. 调查实验：设计调查问卷，评估LLM聊天机器人生成的内容的说服力，并与传统竞选广告进行对比。 2. 真实场景模拟：模拟真实的政治竞选环境，评估使用LLM聊天机器人说服选民的成本，包括接触成本和说服成本。 3. 成本效益分析：对比LLM聊天机器人和传统政治竞选方法的成本效益，评估LLM聊天机器人对民主社会构成的潜在风险。
关键创新：该研究的关键创新在于： 1. 扩展互动评估：评估人与LLM之间的扩展互动，而非单次互动，更贴近真实应用场景。 2. 长期效果评估：评估短期和长期说服效果，而非仅仅评估内容的说服力。 3. 成本效益分析：通过真实场景模拟，评估LLM聊天机器人进行大规模政治说服的成本效益，并与传统方法进行对比。
关键设计：研究的关键设计包括： 1. 政治领域选择：选择三个不同的政治领域，以增加研究的泛化性。 2. 选民样本选择：选择具有代表性的选民样本，以保证研究结果的可靠性。 3. 成本参数设置：基于真实世界参数，设置LLM聊天机器人和传统政治竞选方法的成本参数。
🖼️ 关键图片
📊 实验亮点
研究发现，在选民接触到信息后，LLM的说服力与传统竞选广告相当。然而，考虑到接触成本，LLM说服每个选民的成本为48-74美元，低于传统方法的100美元。但目前传统竞选方法更容易扩展。研究强调，随着LLM能力的提升和接触成本的降低，其大规模政治说服潜力可能会显著增加。
🎯 应用场景
该研究成果可应用于评估新兴AI技术对社会的影响，为政策制定者提供参考，以应对AI技术可能带来的潜在风险。同时，该研究也为政治竞选团队提供了新的视角，帮助他们更好地利用AI技术进行政治宣传，但需警惕其潜在的伦理和社会风险。
📄 摘要（原文）
In recent years, significant concern has emerged regarding the potential threat that Large Language Models (LLMs) pose to democratic societies through their persuasive capabilities. We expand upon existing research by conducting two survey experiments and a real-world simulation exercise to determine whether it is more cost effective to persuade a large number of voters using LLM chatbots compared to standard political campaign practice, taking into account both the "receive" and "accept" steps in the persuasion process (Zaller 1992). These experiments improve upon previous work by assessing extended interactions between humans and LLMs (instead of using single-shot interactions) and by assessing both short- and long-run persuasive effects (rather than simply asking users to rate the persuasiveness of LLM-produced content). In two survey experiments (N = 10,417) across three distinct political domains, we find that while LLMs are about as persuasive as actual campaign ads once voters are exposed to them, political persuasion in the real-world depends on both exposure to a persuasive message and its impact conditional on exposure. Through simulations based on real-world parameters, we estimate that LLM-based persuasion costs between \$48-\$74 per persuaded voter compared to \$100 for traditional campaign methods, when accounting for the costs of exposure. However, it is currently much easier to scale traditional campaign persuasion methods than LLM-based persuasion. While LLMs do not currently appear to have substantially greater potential for large-scale political persuasion than existing non-LLM methods, this may change as LLM capabilities continue to improve and it becomes easier to scalably encourage exposure to persuasive LLMs.