Large Language Models are often politically extreme, usually ideologically inconsistent, and persuasive even in informational contexts

📄 arXiv: 2505.04171v1 📥 PDF

作者: Nouar Aldahoul, Hazem Ibrahim, Matteo Varvello, Aaron Kaufman, Talal Rahwan, Yasir Zaki

分类: cs.CY, cs.CL

发布日期: 2025-05-07

备注: 61 pages, 29 figures

💡 一句话要点

揭示大语言模型政治立场极端化、意识形态不一致及信息传播中的说服性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 意识形态 说服力 信息传播 AI伦理 立场分析

📋 核心要点

  1. 现有研究低估了LLM的政治偏见，认为其偏见较小。本文指出，这种“小”偏见是不同议题上极端立场相互抵消的结果。
  2. 通过对比LLM与政治人物和选民的立场，揭示LLM在特定议题上的极端观点，并研究其在信息交流中的说服能力。
  3. 实验表明，与LLM交流政治议题的选民更容易被其观点影响，且这种影响与选民对LLM的熟悉程度无关。

📝 摘要（中文）

大型语言模型（LLM）是一项变革性技术，从根本上改变了人们获取信息和与世界互动的方式。随着人们越来越依赖LLM来完成各种任务，学术界开始研究这些模型中固有的偏见，特别是政治偏见，但通常发现这些偏见很小。本文挑战了这种普遍的看法。首先，通过将31个LLM与立法者、法官和具有全国代表性的美国选民样本进行比较，表明LLM表面上较小的党派偏好，实际上是特定主题上极端观点的相互抵消的结果，类似于温和选民。其次，在一个随机实验中，表明LLM甚至可以在信息寻求环境中将其偏好转化为政治说服力：随机与LLM聊天机器人讨论政治问题的选民，表达与该聊天机器人相同偏好的可能性高达5个百分点。与预期相反，这些说服效果不受对LLM的熟悉程度、新闻消费或对政治的兴趣的影响。LLM，特别是那些由私营公司或政府控制的LLM，可能成为政治影响的强大且有针对性的载体。

🔬 方法详解

问题定义：现有研究未能充分揭示大型语言模型（LLM）中隐藏的政治偏见。以往研究通常认为LLM的政治偏见较小，但这种结论可能具有误导性，因为LLM在不同政治议题上的立场可能存在显著差异，相互抵消后导致整体偏见不明显。因此，需要更深入地分析LLM在各个议题上的政治立场，并评估其在信息传播过程中对用户政治观点的影响。

核心思路：本文的核心思路是通过对比LLM与不同政治群体的立场，揭示LLM在特定议题上的极端观点。同时，通过实验评估LLM在信息交流中的说服能力，即LLM是否能够影响用户的政治观点。这种方法能够更全面地了解LLM的政治偏见及其潜在影响。

技术框架：本文的研究框架主要包括两个部分：一是政治立场分析，二是政治说服力评估。在政治立场分析部分，作者将31个LLM的输出与立法者、法官和美国选民的政治立场进行对比，从而确定LLM在不同议题上的偏好。在政治说服力评估部分，作者设计了一个随机实验，让参与者与LLM聊天机器人讨论政治议题，并评估参与者在交流前后政治观点的变化。

关键创新：本文的关键创新在于揭示了LLM政治偏见的复杂性，即LLM的整体偏见可能较小，但其在特定议题上的立场可能非常极端。此外，本文还证明了LLM即使在信息寻求环境中也具有政治说服力，能够影响用户的政治观点。

关键设计：在政治立场分析中，作者使用了多种政治立场量化方法，以确保结果的可靠性。在政治说服力评估实验中，作者采用了随机分组设计，并控制了参与者对LLM的熟悉程度、新闻消费和政治兴趣等因素，以排除混淆变量的影响。具体的技术细节，例如prompt的设计，以及LLM输出的量化方法，在论文中进行了详细描述。由于论文侧重于现象揭示和影响评估，对于LLM本身的网络结构或损失函数等细节没有涉及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM的政治偏见并非如先前认为的那样微小，而是由不同议题上极端立场的相互抵消所致。更重要的是，与LLM交流政治议题的选民，表达相同偏好的可能性提高了5个百分点，表明LLM即使在信息环境中也具有显著的说服力。这种说服力不受选民对LLM熟悉程度的影响。

🎯 应用场景

该研究成果可应用于评估和减轻大型语言模型中的政治偏见，确保AI系统在信息传播和决策支持等应用中保持中立和公正。研究结果对于监管机构、AI开发者和公众理解AI技术的潜在政治影响具有重要意义，有助于制定更负责任的AI开发和使用策略。

📄 摘要（原文）

Large Language Models (LLMs) are a transformational technology, fundamentally changing how people obtain information and interact with the world. As people become increasingly reliant on them for an enormous variety of tasks, a body of academic research has developed to examine these models for inherent biases, especially political biases, often finding them small. We challenge this prevailing wisdom. First, by comparing 31 LLMs to legislators, judges, and a nationally representative sample of U.S. voters, we show that LLMs' apparently small overall partisan preference is the net result of offsetting extreme views on specific topics, much like moderate voters. Second, in a randomized experiment, we show that LLMs can promulgate their preferences into political persuasiveness even in information-seeking contexts: voters randomized to discuss political issues with an LLM chatbot are as much as 5 percentage points more likely to express the same preferences as that chatbot. Contrary to expectations, these persuasive effects are not moderated by familiarity with LLMs, news consumption, or interest in politics. LLMs, especially those controlled by private companies or governments, may become a powerful and targeted vector for political influence.