Benchmarking Gender and Political Bias in Large Language Models

📄 arXiv: 2509.06164v2 📥 PDF

作者: Jinrui Yang, Xudong Han, Timothy Baldwin

分类: cs.CL, cs.AI, cs.HC, cs.LG

发布日期: 2025-09-07 (更新: 2025-09-16)

💡 一句话要点

提出 EuroParlVote 基准测试，用于评估大型语言模型在性别和政治偏见上的表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 性别偏见 基准测试 公平性 自然语言处理 欧洲议会 投票预测

📋 核心要点

  1. 现有方法缺乏在政治敏感环境中评估 LLM 偏见的有效基准，难以量化和解决潜在的歧视问题。
  2. 论文提出 EuroParlVote 基准，通过关联欧洲议会数据（演讲、投票、人口统计信息）来评估 LLM 的性别和政治偏见。
  3. 实验表明，LLM 在性别分类和投票预测任务中存在显著偏见，专有模型在公平性和鲁棒性上优于开放权重模型。

📝 摘要（中文）

本文介绍了一个名为 EuroParlVote 的新基准，用于评估大型语言模型（LLM）在政治敏感环境中的表现。该基准将欧洲议会辩论演讲与投票结果联系起来，并包含每位欧洲议会议员（MEP）的丰富人口统计元数据，如性别、年龄、国家和政治团体。利用 EuroParlVote，我们评估了最先进的 LLM 在两项任务上的表现——性别分类和投票预测——揭示了一致的偏见模式。我们发现 LLM 经常将女性议员错误分类为男性，并且在模拟女性发言者的投票时准确率降低。在政治上，LLM 倾向于支持中间派团体，而在极左和极右团体上的表现均不佳。GPT-4o 等专有模型在鲁棒性和公平性方面均优于开放权重模型。我们发布 EuroParlVote 数据集、代码和演示，以支持未来在政治背景下 NLP 的公平性和责任性研究。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在政治敏感环境中存在的性别和政治偏见问题。现有方法缺乏针对政治领域偏见的有效评估基准，难以量化和解决 LLM 在处理政治相关任务时可能存在的歧视性行为。例如，LLM 可能对特定性别或政治立场的议员产生不公平的预测结果。

核心思路：论文的核心思路是构建一个包含丰富政治信息的基准数据集，即 EuroParlVote。该数据集将欧洲议会辩论演讲、投票结果以及议员的人口统计信息（性别、年龄、国家、政治团体）关联起来，从而能够全面评估 LLM 在性别分类和投票预测任务中的偏见。

技术框架：EuroParlVote 基准测试包含以下主要组成部分：1) 数据收集与整理：收集欧洲议会辩论演讲文本、投票记录以及议员的元数据信息。2) 任务定义：定义了两个主要任务，即性别分类（预测议员性别）和投票预测（预测议员投票结果）。3) 模型评估：使用 LLM 在这两个任务上进行评估，并分析其性能表现，特别是关注不同性别和政治团体之间的差异。4) 偏见分析：通过比较不同群体上的性能差异，量化 LLM 的性别和政治偏见。

关键创新：EuroParlVote 的关键创新在于其数据集的独特性和任务设计的针对性。该数据集首次将欧洲议会数据与议员元数据相结合，为评估 LLM 在政治领域的偏见提供了新的视角。性别分类和投票预测任务能够直接反映 LLM 在处理政治相关信息时可能存在的歧视性行为。

关键设计：在数据处理方面，论文对原始数据进行了清洗和预处理，以确保数据的质量和一致性。在模型评估方面，论文采用了常用的分类指标（如准确率、精确率、召回率）来评估 LLM 的性能。此外，论文还设计了针对性的偏见评估指标，例如比较不同性别和政治团体上的性能差异，以量化 LLM 的偏见程度。具体参数设置和损失函数取决于所使用的 LLM 模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM 在性别分类任务中存在显著偏见，经常将女性议员错误分类为男性。在投票预测任务中，LLM 对中间派团体的预测准确率较高，而对极左和极右团体的预测准确率较低。GPT-4o 等专有模型在鲁棒性和公平性方面优于开放权重模型，表明模型规模和训练数据对减少偏见具有重要作用。

🎯 应用场景

该研究成果可应用于评估和改进 LLM 在政治、法律和社会科学等领域的公平性和公正性。通过 EuroParlVote 基准，可以系统地检测和缓解 LLM 中的偏见，从而提高其在敏感应用场景中的可靠性和可信度。未来，该研究可以扩展到其他政治机构和文化背景，促进负责任的人工智能发展。

📄 摘要（原文）

We introduce EuroParlVote, a novel benchmark for evaluating large language models (LLMs) in politically sensitive contexts. It links European Parliament debate speeches to roll-call vote outcomes and includes rich demographic metadata for each Member of the European Parliament (MEP), such as gender, age, country, and political group. Using EuroParlVote, we evaluate state-of-the-art LLMs on two tasks -- gender classification and vote prediction -- revealing consistent patterns of bias. We find that LLMs frequently misclassify female MEPs as male and demonstrate reduced accuracy when simulating votes for female speakers. Politically, LLMs tend to favor centrist groups while underperforming on both far-left and far-right ones. Proprietary models like GPT-4o outperform open-weight alternatives in terms of both robustness and fairness. We release the EuroParlVote dataset, code, and demo to support future research on fairness and accountability in NLP within political contexts.