Large Language Models can impersonate politicians and other public figures

📄 arXiv: 2407.12855v1 📥 PDF

作者: Steffen Herbold, Alexander Trautsch, Zlata Kikteva, Annette Hautli-Janisz

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-07-09

备注: Under review

💡 一句话要点

大型语言模型可模仿政治人物，其生成内容在真实性上甚至超越真人

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治模仿 虚假信息 公众感知 AI伦理

📋 核心要点

  1. 大型语言模型生成文本的能力日益强大，但其在模仿政治人物方面的能力缺乏系统性研究。
  2. 该研究探索了LLM模仿政治人物在辩论中回应问题的能力，并评估了公众对这些模仿的看法。
  3. 实验结果表明，LLM生成的模仿回应在真实性和相关性方面甚至超过了被模仿的真人回应。

📝 摘要（中文）

大型语言模型（LLM）等现代人工智能技术有可能通过捏造内容来污染公共信息领域，这对整个社会的凝聚力构成了重大威胁。大量研究表明，LLM能够生成高质量的文本，包括具有说服力的政治演讲、具有预定义风格的文本以及特定角色的内容。但文献中存在一个关键空白：我们缺乏大规模和系统的研究，来评估LLM在模仿政治和社会代表方面的能力，以及公众如何判断这些模仿行为的真实性、相关性和连贯性。本文基于英国社会的一个横截面，展示了一项研究的结果，该研究表明，LLM能够生成对英国广播政治辩论节目中辩论问题的回应。模仿的回应被认为比被模仿者给出的原始回应更真实和相关。这表明两点：（1）LLM可以被用来为公共政治辩论做出有意义的贡献；（2）迫切需要告知公众这可能对社会造成的潜在危害。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在模仿政治人物和其他公众人物方面的能力，并评估公众对这些模仿的感知。现有方法缺乏对LLM模仿政治人物能力的大规模和系统性研究，尤其是在真实性、相关性和连贯性方面。此外，现有研究未能充分评估这种模仿可能对社会造成的潜在危害。

核心思路：论文的核心思路是利用LLM生成对政治辩论问题的回应，然后通过调查问卷的方式，让公众对LLM生成的回应和真实政治人物的回应进行比较，从而评估LLM的模仿能力以及公众的感知。这种方法能够直接衡量LLM在模仿政治人物方面的表现，并了解公众对这种模仿的看法。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 收集英国广播政治辩论节目的辩论问题；2) 使用LLM生成对这些问题的回应，模仿特定的政治人物；3) 设计调查问卷，让参与者对LLM生成的回应和真实政治人物的回应进行比较，并评估其真实性、相关性和连贯性；4) 分析调查问卷的结果，评估LLM的模仿能力以及公众的感知。

关键创新：该研究的关键创新在于其大规模和系统性地评估了LLM在模仿政治人物方面的能力，并深入了解了公众对这种模仿的感知。此外，该研究还强调了LLM模仿政治人物可能对社会造成的潜在危害，并呼吁公众提高警惕。

关键设计：研究中使用的LLM的具体型号未知。研究人员可能采用了prompt engineering等技术来引导LLM生成特定风格的回应。调查问卷的设计至关重要，需要确保能够准确评估参与者对回应的真实性、相关性和连贯性的感知。具体的评估指标和统计分析方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，LLM生成的模仿回应在真实性和相关性方面甚至超过了被模仿的真人回应。这意味着LLM已经具备了相当强的模仿能力，能够生成以假乱真的内容。这一发现对社会具有重要的警示意义，需要引起公众和研究人员的重视。

🎯 应用场景

该研究具有广泛的应用前景，例如可以用于检测和识别虚假信息，提高公众对AI生成内容的辨别能力，以及制定相关政策来规范AI技术的使用。此外，该研究还可以用于开发更逼真的AI助手，用于教育、娱乐等领域。但同时也需要警惕其被滥用，例如用于传播政治宣传和虚假信息。

📄 摘要（原文）

Modern AI technology like Large language models (LLMs) has the potential to pollute the public information sphere with made-up content, which poses a significant threat to the cohesion of societies at large. A wide range of research has shown that LLMs are capable of generating text of impressive quality, including persuasive political speech, text with a pre-defined style, and role-specific content. But there is a crucial gap in the literature: We lack large-scale and systematic studies of how capable LLMs are in impersonating political and societal representatives and how the general public judges these impersonations in terms of authenticity, relevance and coherence. We present the results of a study based on a cross-section of British society that shows that LLMs are able to generate responses to debate questions that were part of a broadcast political debate programme in the UK. The impersonated responses are judged to be more authentic and relevant than the original responses given by people who were impersonated. This shows two things: (1) LLMs can be made to contribute meaningfully to the public political debate and (2) there is a dire need to inform the general public of the potential harm this can have on society.