Assessing Gender Bias in LLMs: Comparing LLM Outputs with Human Perceptions and Official Statistics

📄 arXiv: 2411.13738v1 📥 PDF

作者: Tetiana Bas

分类: cs.CL, cs.LG

发布日期: 2024-11-20

备注: under review for Coling conference

💡 一句话要点

通过对比LLM输出与人类认知和统计数据，评估大型语言模型中的性别偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 性别偏见 公平性评估 Kullback-Leibler散度 职业性别比例

📋 核心要点

  1. 现有LLM训练数据中包含常见基准，存在数据泄露和测试集污染的风险，难以准确评估性别偏见。
  2. 论文核心在于构建新的评估数据集，并结合人类认知、统计数据和中性基准，多维度评估LLM的性别偏见。
  3. 实验结果表明，所有测试的LLM都存在显著的性别偏见，且与统计数据更为一致，反映了模型固有的偏见。

📝 摘要（中文）

本研究通过比较大型语言模型（LLM）的性别认知与人类受访者的认知、美国劳工统计局的数据以及50%无偏基准，来调查LLM中的性别偏见。我们使用职业数据和特定角色的句子创建了一个新的评估集。与LLM训练数据中包含的常见基准不同，我们的数据集是新开发的，防止了数据泄露和测试集污染。测试了五个LLM，使用单字答案预测每个角色的性别。我们使用Kullback-Leibler（KL）散度来比较模型输出与人类认知、统计数据和50%中性基准。所有LLM都显示出与性别中立性的显著偏差，并且更符合统计数据，仍然反映了固有的偏见。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中存在的性别偏见评估问题。现有方法依赖于可能存在数据泄露的常见基准，无法准确反映LLM的真实偏见程度。此外，仅仅依靠模型输出难以判断其偏见是否与现实世界的统计数据相符，还是存在过度或不足的情况。

核心思路：论文的核心思路是构建一个全新的、无数据泄露风险的评估数据集，并将其与人类认知、官方统计数据以及完全中性的基准进行对比。通过这种多维度的比较，可以更全面、准确地评估LLM的性别偏见。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建新的评估数据集，该数据集基于职业数据和角色特定的句子；2) 选择多个LLM进行测试，要求模型预测每个角色对应的性别；3) 收集人类对相同角色的性别认知数据；4) 获取美国劳工统计局的官方性别比例数据；5) 使用Kullback-Leibler (KL) 散度来量化模型输出、人类认知、统计数据与50%中性基准之间的差异。

关键创新：该研究的关键创新在于：1) 构建了一个新的、无数据泄露风险的评估数据集，避免了测试集污染；2) 采用多维度对比的方法，将模型输出与人类认知、统计数据和中性基准进行比较，从而更全面地评估性别偏见；3) 使用KL散度作为量化指标，能够有效地衡量不同分布之间的差异。

关键设计：评估数据集的设计至关重要，需要确保职业和角色的选择具有代表性，并且句子能够准确反映角色的特征。KL散度的计算需要选择合适的概率分布，并进行归一化处理。此外，选择具有代表性的LLM进行测试也很重要，需要考虑模型的规模、架构和训练数据。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所有测试的LLM都表现出显著的性别偏见，与性别中立基准存在明显偏差。更重要的是，LLM的输出更接近于美国劳工统计局的性别比例数据，表明模型在一定程度上反映了现实世界的偏见，但同时也可能加剧这些偏见。

🎯 应用场景

该研究成果可应用于LLM的公平性评估和改进，帮助开发者识别和消除模型中存在的性别偏见。这对于构建更公正、更符合社会价值观的AI系统至关重要，尤其是在招聘、教育和金融等敏感领域。

📄 摘要（原文）

This study investigates gender bias in large language models (LLMs) by comparing their gender perception to that of human respondents, U.S. Bureau of Labor Statistics data, and a 50% no-bias benchmark. We created a new evaluation set using occupational data and role-specific sentences. Unlike common benchmarks included in LLM training data, our set is newly developed, preventing data leakage and test set contamination. Five LLMs were tested to predict the gender for each role using single-word answers. We used Kullback-Leibler (KL) divergence to compare model outputs with human perceptions, statistical data, and the 50% neutrality benchmark. All LLMs showed significant deviation from gender neutrality and aligned more with statistical data, still reflecting inherent biases.