Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models
作者: Tai-Quan Peng, Kaiqi Yang, Sanguk Lee, Hang Li, Yucheng Chu, Yuping Lin, Hui Liu
分类: cs.CY, cs.AI
发布日期: 2024-12-21 (更新: 2025-05-10)
💡 一句话要点
提出基于主题的无角色扮演方法，评估大型语言模型在政治倾向和参与度上的偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治偏见 模型评估 无角色扮演 主题分析
📋 核心要点
- 现有评估LLM政治偏见的方法依赖模拟角色或预设意识形态，可能引入人为偏差，脱离实际用户场景。
- 论文提出无角色扮演、基于特定主题的评估方法，模拟用户真实交互，更客观地衡量LLM的政治倾向。
- 通过分析43个LLM在不同政治议题上的反应，发现模型普遍偏左，且模型规模与政治倾向关联性不强。
📝 摘要（中文）
随着大型语言模型（LLMs）日益融入公民、教育和政治信息环境，对其潜在政治偏见的担忧日益增加。以往研究通常通过模拟角色或预定义的意识形态类型来评估这种偏见，这可能引入人为的框架效应或忽略模型在一般使用场景中的行为。本研究采用一种无角色扮演、特定主题的方法来评估LLMs中的政治行为，反映了用户通常与这些系统交互的方式——没有意识形态的角色扮演或条件限制。我们引入了一个二维框架：一个轴捕捉在高度两极分化议题（如堕胎、移民）上的党派倾向，另一个轴评估在不太两极分化议题（如气候变化、外交政策）上的社会政治参与度。使用来自ANES和皮尤研究中心的调查式提示，我们分析了来自美国、欧洲、中国和中东开发的43个LLMs的响应。我们提出了一个熵加权偏见分数，以量化党派一致性的方向和一致性，并通过参与度概况识别了四种行为集群。研究结果表明，大多数模型在意识形态上倾向于中间偏左或左派，并且在非党派参与模式上有所不同。模型规模和开放性并不是行为的强预测指标，这表明对齐策略和制度背景在塑造政治表达方面起着更决定性的作用。
🔬 方法详解
问题定义：现有评估大型语言模型政治偏见的方法，如基于模拟角色或预定义意识形态类型，存在人为框架效应，无法真实反映模型在实际应用场景中的政治倾向。这些方法忽略了用户与LLM交互的自然方式，可能导致对模型政治立场的误判。
核心思路：本研究的核心思路是采用一种无角色扮演、基于特定主题的方法来评估LLM的政治行为。通过模拟用户在日常使用中与LLM的交互方式，避免人为的角色扮演或意识形态预设，从而更客观地评估模型的政治倾向和参与度。这种方法旨在捕捉LLM在真实世界中的政治立场，而非在特定情境下的表现。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 议题选择：选择高度两极分化（如堕胎、移民）和非两极分化（如气候变化、外交政策）的政治议题。2) 提示设计：基于ANES和皮尤研究中心的调查问卷，设计调查式提示，模拟用户提问。3) 模型评估：使用43个来自不同国家和地区的LLM，对提示进行响应生成。4) 偏见量化：提出熵加权偏见分数，量化模型在党派倾向上的方向和一致性。5) 行为聚类：通过模型在不同议题上的参与度概况，识别不同的行为集群。
关键创新：该研究的关键创新在于提出了一种无角色扮演、基于主题的评估方法，避免了人为框架效应，更真实地反映了LLM的政治倾向。此外，该研究还提出了熵加权偏见分数，能够更全面地量化模型的政治偏见程度。通过对多个LLM的对比分析，揭示了模型规模和开放性与政治倾向之间的关系，为理解LLM的政治行为提供了新的视角。
关键设计：在提示设计方面，研究者参考了ANES和皮尤研究中心的调查问卷，确保提示的真实性和代表性。熵加权偏见分数的计算方法未知，但其目的是量化模型在不同议题上的倾向程度和一致性。行为聚类算法的具体细节未知，但其目的是根据模型在不同议题上的参与度，将模型划分为不同的行为集群。
🖼️ 关键图片
📊 实验亮点
研究发现，大多数模型在意识形态上倾向于中间偏左或左派。模型规模和开放性与政治倾向没有强相关性，表明对齐策略和制度背景在塑造政治表达方面起着更重要的作用。通过聚类分析，识别出四种不同的模型行为模式，揭示了LLM在政治参与度上的差异。
🎯 应用场景
该研究成果可应用于评估和改进大型语言模型的政治中立性，降低其在政治信息传播中的潜在偏见。对于开发者，可以指导模型对齐策略，避免模型过度倾向特定政治立场。对于用户，可以帮助其更理性地看待LLM生成的内容，避免受到政治偏见的影响。未来，该方法可扩展到其他类型的偏见评估，如性别偏见、种族偏见等。
📄 摘要（原文）
As large language models (LLMs) become increasingly embedded in civic, educational, and political information environments, concerns about their potential political bias have grown. Prior research often evaluates such bias through simulated personas or predefined ideological typologies, which may introduce artificial framing effects or overlook how models behave in general use scenarios. This study adopts a persona-free, topic-specific approach to evaluate political behavior in LLMs, reflecting how users typically interact with these systems-without ideological role-play or conditioning. We introduce a two-dimensional framework: one axis captures partisan orientation on highly polarized topics (e.g., abortion, immigration), and the other assesses sociopolitical engagement on less polarized issues (e.g., climate change, foreign policy). Using survey-style prompts drawn from the ANES and Pew Research Center, we analyze responses from 43 LLMs developed in the U.S., Europe, China, and the Middle East. We propose an entropy-weighted bias score to quantify both the direction and consistency of partisan alignment, and identify four behavioral clusters through engagement profiles. Findings show most models lean center-left or left ideologically and vary in their nonpartisan engagement patterns. Model scale and openness are not strong predictors of behavior, suggesting that alignment strategy and institutional context play a more decisive role in shaping political expression.