The Silicon Ceiling: Auditing GPT's Race and Gender Biases in Hiring
作者: Lena Armstrong, Abbey Liu, Stephen MacNeil, Danaë Metaxa
分类: cs.CY, cs.CL
发布日期: 2024-05-07 (更新: 2024-11-15)
💡 一句话要点
通过简历审计揭示GPT-3.5在招聘中存在的种族和性别偏见
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 招聘偏见 种族偏见 性别偏见 简历审计 GPT-3.5 公平性 算法伦理
📋 核心要点
- 大型语言模型在招聘中的应用引发了对其潜在偏见的担忧，可能加剧社会不公。
- 该研究通过模拟简历筛选和生成过程，考察GPT-3.5在种族和性别方面的偏见。
- 实验表明GPT-3.5在简历评估和生成中均存在偏见，例如对特定种族和性别的刻板印象。
📝 摘要（中文）
大型语言模型（LLM）越来越多地被引入工作场所，旨在提高效率和公平性。然而，人们开始担心这些模型可能会反映或加剧社会偏见和刻板印象。本研究探讨了LLM对招聘实践的潜在影响。为此，我们对一种常用的LLM，OpenAI的GPT-3.5，进行了关于种族和性别偏见的人工智能审计，借鉴了传统线下简历审计的历史。我们使用具有不同种族和性别含义的名字进行了两项研究：简历评估（研究1）和简历生成（研究2）。在研究1中，我们要求GPT对32个不同名字（2种性别和4个种族组合各4个名字）和两个匿名选项的简历进行评分，涵盖10个职业和3个评估任务（总体评分、面试意愿和录用意愿）。我们发现该模型反映了一些基于刻板印象的偏见。在研究2中，我们提示GPT为虚构的求职者创建简历（每个名字10份）。在生成简历时，GPT揭示了潜在的偏见；女性的简历具有经验较少的职业，而亚洲和西班牙裔的简历具有移民标记，例如非母语英语以及非美国教育和工作经历。我们的发现为越来越多的关于LLM偏见（尤其是在工作场所环境中）的文献做出了贡献。
🔬 方法详解
问题定义：论文旨在揭示和量化大型语言模型（特别是GPT-3.5）在招聘流程中可能存在的种族和性别偏见。现有方法缺乏对LLM在招聘场景下偏见的系统性评估，无法有效识别和解决潜在的歧视性行为。
核心思路：论文的核心思路是通过模拟传统的简历审计方法，设计实验来评估GPT-3.5在简历评估和生成任务中的偏见。通过控制简历中的姓名（代表不同的种族和性别），观察GPT-3.5在评分和生成简历时的差异，从而推断其潜在的偏见。
技术框架：该研究包含两个主要部分：简历评估和简历生成。在简历评估中，研究人员使用预先准备好的简历，并使用不同的姓名（代表不同的种族和性别）提交给GPT-3.5进行评分。评分指标包括总体评分、面试意愿和录用意愿。在简历生成中，研究人员提示GPT-3.5根据给定的姓名生成简历，并分析生成的简历内容是否存在与种族和性别相关的刻板印象。
关键创新：该研究的关键创新在于将传统的简历审计方法应用于评估大型语言模型的偏见。通过系统性的实验设计，量化了GPT-3.5在招聘场景下存在的种族和性别偏见，为后续研究和改进提供了依据。
关键设计：在简历评估中，使用了32个不同的姓名，代表2种性别和4个种族。在简历生成中，为每个姓名生成10份简历。研究人员分析了生成的简历中是否存在与种族和性别相关的关键词和短语，例如非母语英语、非美国教育经历等。评估指标包括总体评分、面试意愿、录用意愿以及简历内容分析。
🖼️ 关键图片
📊 实验亮点
研究发现，GPT-3.5在简历评估中存在基于刻板印象的偏见，例如对某些种族和性别的评分较低。在简历生成中，GPT-3.5会为女性生成经验较少的职业简历，为亚洲和西班牙裔生成带有移民标记的简历。这些结果表明，LLM在招聘中可能加剧社会不公。
🎯 应用场景
该研究结果可应用于改进招聘流程，减少算法偏见，提高招聘公平性。企业可以使用类似方法审计其使用的AI工具，确保其符合伦理标准。研究结果也为LLM的开发者提供了改进方向，以减少模型中的偏见。
📄 摘要（原文）
Large language models (LLMs) are increasingly being introduced in workplace settings, with the goals of improving efficiency and fairness. However, concerns have arisen regarding these models' potential to reflect or exacerbate social biases and stereotypes. This study explores the potential impact of LLMs on hiring practices. To do so, we conduct an AI audit of race and gender biases in one commonly-used LLM, OpenAI's GPT-3.5, taking inspiration from the history of traditional offline resume audits. We conduct two studies using names with varied race and gender connotations: resume assessment (Study 1) and resume generation (Study 2). In Study 1, we ask GPT to score resumes with 32 different names (4 names for each combination of the 2 gender and 4 racial groups) and two anonymous options across 10 occupations and 3 evaluation tasks (overall rating, willingness to interview, and hireability). We find that the model reflects some biases based on stereotypes. In Study 2, we prompt GPT to create resumes (10 for each name) for fictitious job candidates. When generating resumes, GPT reveals underlying biases; women's resumes had occupations with less experience, while Asian and Hispanic resumes had immigrant markers, such as non-native English and non-U.S. education and work experiences. Our findings contribute to a growing body of literature on LLM biases, particularly in workplace contexts.