"Amazing, They All Lean Left" -- Analyzing the Political Temperaments of Current LLMs
作者: W. Russell Neuman, Chad Coleman, Ali Dasdan, Safinah Ali, Manan Shah, Kund Meghani
分类: cs.CL, cs.CY
发布日期: 2025-07-08
💡 一句话要点
分析主流LLM的政治倾向：揭示其普遍存在的自由主义倾向及其成因
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治倾向 自由主义 道德基础理论 偏见分析 强化学习 微调 公平性
📋 核心要点
- 现有研究表明LLM存在政治倾向，但其根本原因和影响尚不明确，需要深入探究。
- 论文采用道德基础理论等多种方法，系统评估七个主流LLM的政治倾向，揭示其自由主义倾向。
- 研究发现微调会增强LLM的自由主义倾向，并分析了其成因，认为这反映了训练数据的特性。
📝 摘要（中文）
近期研究表明，大多数商业大型语言模型（LLM）在伦理和政治回应中表现出一致的自由主义倾向，但其根本原因和潜在影响尚不明确。本文系统地研究了七个主流LLM的政治倾向，包括OpenAI的GPT-4o、Anthropic的Claude Sonnet 4、Perplexity (Sonar Large)、Google的Gemini 2.5 Flash、Meta AI的Llama 4、Mistral 7b Le Chat和High-Flyer的DeepSeek R1。研究采用多管齐下的方法，包括道德基础理论、十几个已建立的政治意识形态量表和一个新的当前政治争议指数。我们发现，大多数模型都强烈且一致地优先考虑自由主义价值观，特别是关怀和公平。进一步的分析将这种趋势归因于四个重叠的因素：自由主义倾向的训练语料库、来自人类反馈的强化学习（RLHF）、学术伦理讨论中自由主义框架的主导地位以及安全驱动的微调实践。我们还区分了政治“偏见”和合法的认知差异，告诫不要混淆两者。对基础模型和微调模型对的比较表明，微调通常会增加自由主义倾向，这种效应通过自我报告和实证测试得到证实。我们认为，这种“自由主义倾向”不是编程错误或程序员的个人偏好，而是训练于以民主权利为中心的讨论的新兴属性。最后，我们提出LLM可能间接呼应约翰·罗尔斯著名的“无知之幕”哲学愿望，反映了一种不以个人身份或利益为基础的道德立场。这种模式可能不是破坏民主讨论，而是提供了一个新的视角来审视集体推理。
🔬 方法详解
问题定义：论文旨在解决当前大型语言模型（LLM）在政治和伦理回应中表现出的普遍自由主义倾向问题。现有方法缺乏对这种倾向的系统性分析，以及对其根本原因和潜在影响的深入理解。现有的评估方法不够全面，难以区分真正的偏见和合理的认知差异。
核心思路：论文的核心思路是通过多维度、系统性的评估方法，量化LLM的政治倾向，并分析其成因。通过对比基础模型和微调模型，研究微调过程对政治倾向的影响。同时，论文强调区分政治偏见和认知差异的重要性，避免简单地将LLM的自由主义倾向归咎于编程错误或人为偏好。
技术框架：论文采用多管齐下的方法来评估LLM的政治倾向，主要包括以下几个模块： 1. 道德基础理论（Moral Foundations Theory）：用于评估LLM在不同道德维度上的倾向。 2. 政治意识形态量表：使用十几个已建立的政治意识形态量表，量化LLM的政治立场。 3. 当前政治争议指数：构建新的指数，评估LLM对当前政治争议的看法。 4. 对比实验：对比基础模型和微调模型的政治倾向，分析微调的影响。 5. 成因分析：分析训练数据、强化学习、伦理讨论和安全微调等因素对LLM政治倾向的影响。
关键创新：论文的创新点在于： 1. 多维度评估方法：采用多种评估工具，全面量化LLM的政治倾向。 2. 区分偏见与认知差异：强调区分政治偏见和合理的认知差异，避免简单化归因。 3. 成因分析：深入分析LLM政治倾向的成因，揭示其与训练数据、强化学习等因素的关系。 4. 罗尔斯“无知之幕”的类比：提出LLM的自由主义倾向可能反映了罗尔斯“无知之幕”的哲学思想。
关键设计：论文的关键设计包括： 1. 精心设计的提示语（Prompt）：使用清晰、明确的提示语，引导LLM生成回应。 2. 多样化的评估数据集：使用多种数据集，包括道德困境、政治问题和争议话题。 3. 统计分析方法：使用统计方法，量化LLM的政治倾向，并进行显著性检验。 4. 对比实验设计：精心设计对比实验，分析微调对LLM政治倾向的影响。
📊 实验亮点
研究发现，大多数LLM表现出强烈的自由主义倾向，尤其是在关怀和公平等价值观上。微调过程通常会增强LLM的自由主义倾向。研究还揭示了训练数据、强化学习和安全微调等因素对LLM政治倾向的影响。这些发现为理解和解决LLM的偏见问题提供了重要依据。
🎯 应用场景
该研究成果可应用于评估和改进LLM的公平性和公正性，避免其在政治、伦理等敏感领域产生不当影响。有助于开发者更好地理解LLM的内在偏见，并采取措施进行缓解。此外，该研究也为理解人工智能的社会影响提供了新的视角。
📄 摘要（原文）
Recent studies have revealed a consistent liberal orientation in the ethical and political responses generated by most commercial large language models (LLMs), yet the underlying causes and resulting implications remain unclear. This paper systematically investigates the political temperament of seven prominent LLMs - OpenAI's GPT-4o, Anthropic's Claude Sonnet 4, Perplexity (Sonar Large), Google's Gemini 2.5 Flash, Meta AI's Llama 4, Mistral 7b Le Chat and High-Flyer's DeepSeek R1 -- using a multi-pronged approach that includes Moral Foundations Theory, a dozen established political ideology scales and a new index of current political controversies. We find strong and consistent prioritization of liberal-leaning values, particularly care and fairness, across most models. Further analysis attributes this trend to four overlapping factors: Liberal-leaning training corpora, reinforcement learning from human feedback (RLHF), the dominance of liberal frameworks in academic ethical discourse and safety-driven fine-tuning practices. We also distinguish between political "bias" and legitimate epistemic differences, cautioning against conflating the two. A comparison of base and fine-tuned model pairs reveals that fine-tuning generally increases liberal lean, an effect confirmed through both self-report and empirical testing. We argue that this "liberal tilt" is not a programming error or the personal preference of programmers but an emergent property of training on democratic rights-focused discourse. Finally, we propose that LLMs may indirectly echo John Rawls' famous veil-of ignorance philosophical aspiration, reflecting a moral stance unanchored to personal identity or interest. Rather than undermining democratic discourse, this pattern may offer a new lens through which to examine collective reasoning.