Evaluating Gender Bias of LLMs in Making Morality Judgements

📄 arXiv: 2410.09992v1 📥 PDF

作者: Divij Bajaj, Yuanyuan Lei, Jonathan Tong, Ruihong Huang

分类: cs.CL

发布日期: 2024-10-13

备注: Accepted by EMNLP Findings 2024

💡 一句话要点

GenMO数据集揭示LLM在道德判断中存在显著性别偏见，尤其偏袒女性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 性别偏见 道德判断 数据集 公平性

📋 核心要点

  1. 现有LLM在道德判断方面表现出社会偏见，尤其是在性别方面，这限制了其在公平性要求高的场景中的应用。
  2. 论文构建GenMO数据集，包含性别对等的平行故事，用于评估LLM在道德判断中是否存在性别偏见。
  3. 实验结果表明，主流LLM（包括GPT、Llama和Claude系列）在道德判断中普遍存在性别偏见，且倾向于偏袒女性。

📝 摘要（中文）

大型语言模型（LLM）在自然语言处理（NLP）任务中表现出卓越的能力。然而，这些模型仍然存在局限性，例如社会偏见，尤其是性别偏见。本研究调查了当前封闭和开源LLM是否具有性别偏见，尤其是在被要求给出道德观点时。为了评估这些模型，我们创建并引入了一个新的数据集GenMO（道德观点中的性别偏见），该数据集包含分别以男性和女性角色为主角的平行短篇故事。具体来说，我们测试了GPT系列（GPT-3.5-turbo、GPT-3.5-turbo-instruct、GPT-4-turbo）、Llama 3和3.1系列（8B/70B）、Mistral-7B和Claude 3系列（Sonnet和Opus）的模型。令人惊讶的是，尽管采用了安全检查，但我们测试的所有生产标准模型都显示出显著的性别偏见，其中GPT-3.5-turbo在24%的样本中给出了有偏见的意见。此外，所有模型始终偏爱女性角色，GPT在68-85%的情况下表现出偏见，Llama 3在81-85%的情况下表现出偏见。此外，我们的研究还调查了模型参数对性别偏见的影响，并探讨了LLM在道德决策中揭示偏见的真实场景。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在进行道德判断时存在的性别偏见问题。现有方法缺乏对LLM道德判断中性别偏见的系统性评估，并且难以量化和理解这种偏见的程度和影响。现有LLM的安全检查机制并不能完全消除性别偏见，导致模型在实际应用中可能产生不公平或歧视性的结果。

核心思路：论文的核心思路是通过构建一个包含性别对等的平行故事的数据集（GenMO），来系统地评估LLM在道德判断中是否存在性别偏见。通过比较LLM在面对相同情境但角色性别不同的故事时的判断结果，可以量化模型对不同性别的偏好程度。这种方法能够更清晰地揭示LLM在道德推理过程中潜在的性别偏见。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建GenMO数据集，包含一系列平行短篇故事，每个故事都有男性和女性两个版本，故事情节相同，只是角色性别不同。2) 选择多个主流LLM进行测试，包括GPT、Llama和Claude系列。3) 将GenMO数据集输入到LLM中，要求模型对每个故事进行道德判断。4) 分析LLM的输出结果，比较模型在面对不同性别角色时的判断差异，从而评估模型是否存在性别偏见。

关键创新：论文的关键创新在于构建了GenMO数据集，这是一个专门用于评估LLM在道德判断中性别偏见的数据集。该数据集的平行故事设计能够有效地控制其他变量，从而更准确地评估模型对不同性别的偏好。此外，该研究还系统地评估了多个主流LLM的性别偏见程度，并分析了模型参数对偏见的影响。

关键设计：GenMO数据集的关键设计在于其平行故事的结构，确保除了角色性别之外，其他所有因素都保持一致。这使得研究人员能够更准确地评估LLM对不同性别的偏好。实验中，研究人员使用了不同的提示语（prompts）来引导LLM进行道德判断，并比较了不同提示语对结果的影响。此外，研究还分析了模型参数（如模型大小）与性别偏见之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有测试的生产标准模型都显示出显著的性别偏见。GPT-3.5-turbo在24%的样本中给出了有偏见的意见。所有模型都一致偏爱女性角色，GPT在68-85%的情况下表现出偏见，Llama 3在81-85%的情况下表现出偏见。这些结果表明，即使采用了安全检查，当前的LLM仍然存在严重的性别偏见问题。

🎯 应用场景

该研究成果可应用于开发更公平、无偏见的LLM，尤其是在涉及道德决策的场景中，如医疗诊断、法律咨询、招聘筛选等。通过使用GenMO数据集对LLM进行评估和改进，可以减少模型在这些领域中产生不公平或歧视性结果的风险。未来的研究可以进一步探索如何消除LLM中的性别偏见，并开发更有效的公平性评估方法。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable capabilities in a multitude of Natural Language Processing (NLP) tasks. However, these models are still not immune to limitations such as social biases, especially gender bias. This work investigates whether current closed and open-source LLMs possess gender bias, especially when asked to give moral opinions. To evaluate these models, we curate and introduce a new dataset GenMO (Gender-bias in Morality Opinions) comprising parallel short stories featuring male and female characters respectively. Specifically, we test models from the GPT family (GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4-turbo), Llama 3 and 3.1 families (8B/70B), Mistral-7B and Claude 3 families (Sonnet and Opus). Surprisingly, despite employing safety checks, all production-standard models we tested display significant gender bias with GPT-3.5-turbo giving biased opinions in 24% of the samples. Additionally, all models consistently favour female characters, with GPT showing bias in 68-85% of cases and Llama 3 in around 81-85% instances. Additionally, our study investigates the impact of model parameters on gender bias and explores real-world situations where LLMs reveal biases in moral decision-making.