Language-Dependent Political Bias in AI: A Study of ChatGPT and Gemini

📄 arXiv: 2504.06436v1 📥 PDF

作者: Dogus Yuksel, Mehmet Cem Catalbas, Bora Oc

分类: cs.CL, cs.AI, cs.ET, stat.AP

发布日期: 2025-04-08

备注: 26 pages, 10 figures

💡 一句话要点

研究揭示ChatGPT和Gemini在不同语言中存在政治倾向性偏差。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治倾向性 语言依赖性 ChatGPT Gemini

📋 核心要点

  1. 大型语言模型声称提供准确和公正的信息，但其潜在的政治倾向性及其语言依赖性是一个重要问题。
  2. 该研究通过使用多种语言的政治倾向性测试，揭示了ChatGPT和Gemini的政治偏见。
  3. 实验结果表明，两种模型都存在自由主义和左倾倾向，且这种倾向性因语言而异。

📝 摘要（中文）

本研究旨在调查大型语言模型（LLM）ChatGPT和Gemini的政治倾向性，以及这种倾向性是否因查询语言而异。研究对ChatGPT和Gemini进行了政治倾向性测试，使用了14种不同的语言。结果表明，这些LLM确实表现出政治倾向，两者都呈现出自由主义和左倾的偏见。对比分析显示，Gemini的自由主义和左倾倾向比ChatGPT更为明显。研究还发现，这些政治偏见会随着查询语言的不同而变化。研究深入探讨了构成政治倾向和语言差异的因素，包括训练数据的来源和范围、语言的结构和语法特征、文化和政治背景，以及模型对语言特征的反应。基于此，并从伦理角度出发，建议人工智能工具不应声称缺乏政治倾向和保持中立，而应努力实现政治中立，并在执行用户查询时考虑到这些倾向。

🔬 方法详解

问题定义：该论文旨在研究大型语言模型（LLM），特别是ChatGPT和Gemini，是否存在政治倾向性，以及这种倾向性是否会受到查询语言的影响。现有方法主要关注LLM的通用能力，而忽略了其潜在的政治偏见及其语言依赖性。这种偏见可能会影响LLM在政治相关任务中的表现，并可能导致不公平或不准确的结果。

核心思路：该论文的核心思路是通过设计一套多语言的政治倾向性测试，来评估LLM在不同语言环境下的政治立场。通过分析LLM对不同政治问题的回答，可以推断出其潜在的政治倾向。同时，通过比较LLM在不同语言下的表现，可以揭示其政治倾向的语言依赖性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择ChatGPT和Gemini作为研究对象；2) 设计一套包含多个政治问题的测试集，并将其翻译成14种不同的语言；3) 使用这些测试集对ChatGPT和Gemini进行测试，记录其回答；4) 对LLM的回答进行分析，评估其政治倾向，并比较其在不同语言下的表现。

关键创新：该论文的关键创新在于其多语言的政治倾向性测试方法。该方法能够有效地评估LLM在不同语言环境下的政治立场，并揭示其政治倾向的语言依赖性。此外，该研究还深入探讨了构成政治倾向和语言差异的因素，为理解LLM的政治偏见提供了新的视角。

关键设计：该研究的关键设计包括：1) 测试集的设计，需要确保测试问题能够有效地反映LLM的政治立场；2) 语言的选择，需要选择具有代表性的语言，以覆盖不同的文化和政治背景；3) 回答的分析方法，需要设计合理的指标来评估LLM的政治倾向。

📊 实验亮点

研究结果表明，ChatGPT和Gemini都表现出自由主义和左倾的政治倾向，且Gemini的倾向更为明显。此外，研究还发现，这些政治偏见会随着查询语言的不同而变化，这表明LLM的政治立场受到语言环境的影响。具体性能数据未知。

🎯 应用场景

该研究的成果可以应用于评估和改进大型语言模型的政治中立性，从而提高其在政治相关任务中的可靠性和公正性。此外，该研究还可以帮助用户更好地理解LLM的潜在偏见，并谨慎使用其在政治领域的建议。未来，该研究可以扩展到其他类型的LLM和更多的语言，以更全面地评估LLM的政治倾向。

📄 摘要（原文）

As leading examples of large language models, ChatGPT and Gemini claim to provide accurate and unbiased information, emphasizing their commitment to political neutrality and avoidance of personal bias. This research investigates the political tendency of large language models and the existence of differentiation according to the query language. For this purpose, ChatGPT and Gemini were subjected to a political axis test using 14 different languages. The findings of the study suggest that these large language models do exhibit political tendencies, with both models demonstrating liberal and leftist biases. A comparative analysis revealed that Gemini exhibited a more pronounced liberal and left-wing tendency compared to ChatGPT. The study also found that these political biases varied depending on the language used for inquiry. The study delves into the factors that constitute political tendencies and linguistic differentiation, exploring differences in the sources and scope of educational data, structural and grammatical features of languages, cultural and political contexts, and the model's response to linguistic features. From this standpoint, and an ethical perspective, it is proposed that artificial intelligence tools should refrain from asserting a lack of political tendencies and neutrality, instead striving for political neutrality and executing user queries by incorporating these tendencies.