Assessing Political Bias in Large Language Models

📄 arXiv: 2405.13041v3 📥 PDF

作者: Luca Rettenberger, Markus Reischl, Mark Schutera

分类: cs.CL, cs.AI

发布日期: 2024-05-17 (更新: 2024-06-05)

💡 一句话要点

评估大型语言模型中的政治偏见，揭示其对欧盟选举的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 欧盟选举 投票建议应用 模型评估

📋 核心要点

  1. 大型语言模型可能影响社会动态，政治偏见评估至关重要，尤其是在选举等关键时刻。
  2. 利用德国投票建议应用“Wahl-O-Mat”量化LLM与德国政党的立场一致性，评估政治偏见。
  3. 实验表明，大型模型更倾向于左倾政党，小型模型倾向中立，所有模型在特定政党偏见上差异较小。

📝 摘要（中文）

大型语言模型（LLM）中的偏见评估已成为人工智能（AI）领域的一个关键问题，尤其是在其对社会动态的潜在影响方面。在接近预测性预测的临界点时，识别和考虑LLM应用中的政治偏见尤为重要。了解潜在影响以及LLM与人类操作员交互所驱动的大规模社会行为至关重要。本文评估了当前最流行的开源LLM（指令或助手模型）在欧盟（EU）政治问题上的政治偏见，从德国选民的角度出发，使用德国投票建议应用程序“Wahl-O-Mat”。通过“Wahl-O-Mat”的投票建议，量化LLM与德国政党的立场一致程度。结果表明，Llama3-70B等大型模型更倾向于与左倾政党保持一致，而较小的模型通常保持中立，尤其是在使用英语提示时。中心发现是LLM具有相似的偏见，在特定政党的一致性方面差异较小。研究结果强调了严格评估LLM中的偏见并使其透明化的重要性，以保障采用预测性预测能力以及机器学习预测和语言生成的应用程序的完整性和可信度。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在政治立场上的偏见，特别是在欧盟政治议题上，并从德国选民的角度进行分析。现有方法缺乏对LLM政治偏见的系统性评估，无法有效揭示其潜在的社会影响。

核心思路：论文的核心思路是利用“Wahl-O-Mat”这一德国常用的投票建议应用程序，将LLM的回答与德国各政党的政治立场进行对比，从而量化LLM的政治偏见程度。通过这种方式，可以客观地评估LLM在特定政治议题上的倾向性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择具有代表性的开源LLM，包括不同规模的模型；2) 使用“Wahl-O-Mat”中的政治问题作为输入，向LLM提问；3) 分析LLM的回答，并将其与“Wahl-O-Mat”中各政党的立场进行对比；4) 量化LLM与各政党的立场一致性，从而评估其政治偏见程度。

关键创新：该研究的关键创新在于：1) 利用“Wahl-O-Mat”这一实际应用场景，将LLM的政治偏见评估与真实世界的政治立场联系起来；2) 系统性地评估了不同规模的LLM在政治立场上的偏见，揭示了模型规模与政治偏见之间的关系；3) 强调了LLM政治偏见评估的重要性，并提出了相应的建议，以保障AI应用的公正性和可信度。

关键设计：研究中使用的关键设计包括：1) 选择具有代表性的开源LLM，例如Llama3-70B等；2) 使用“Wahl-O-Mat”中的问题作为prompt，并控制prompt的语言（英语和德语）；3) 使用余弦相似度等指标来量化LLM的回答与各政党立场之间的一致性；4) 对结果进行统计分析，评估不同模型之间的政治偏见差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大型模型如Llama3-70B更倾向于与左倾政党保持一致，而较小的模型通常保持中立。研究还发现，LLM在特定政党的一致性方面差异较小，表明其偏见具有一定的普遍性。此外，prompt的语言也会影响模型的政治立场。

🎯 应用场景

该研究成果可应用于评估和减轻大型语言模型在政治、社会和伦理等方面的偏见，提高AI系统的公平性和透明度。对于选举预测、政策制定、舆情分析等领域具有重要参考价值，有助于构建更加可信赖的人工智能应用。

📄 摘要（原文）

The assessment of bias within Large Language Models (LLMs) has emerged as a critical concern in the contemporary discourse surrounding Artificial Intelligence (AI) in the context of their potential impact on societal dynamics. Recognizing and considering political bias within LLM applications is especially important when closing in on the tipping point toward performative prediction. Then, being educated about potential effects and the societal behavior LLMs can drive at scale due to their interplay with human operators. In this way, the upcoming elections of the European Parliament will not remain unaffected by LLMs. We evaluate the political bias of the currently most popular open-source LLMs (instruct or assistant models) concerning political issues within the European Union (EU) from a German voter's perspective. To do so, we use the "Wahl-O-Mat," a voting advice application used in Germany. From the voting advice of the "Wahl-O-Mat" we quantize the degree of alignment of LLMs with German political parties. We show that larger models, such as Llama3-70B, tend to align more closely with left-leaning political parties, while smaller models often remain neutral, particularly when prompted in English. The central finding is that LLMs are similarly biased, with low variances in the alignment concerning a specific party. Our findings underline the importance of rigorously assessing and making bias transparent in LLMs to safeguard the integrity and trustworthiness of applications that employ the capabilities of performative prediction and the invisible hand of machine learning prediction and language generation.