Do Large Language Models Discriminate in Hiring Decisions on the Basis of Race, Ethnicity, and Gender?

📄 arXiv: 2406.10486v1 📥 PDF

作者: Haozhe An, Christabel Acquaye, Colin Wang, Zongxia Li, Rachel Rudinger

分类: cs.CL

发布日期: 2024-06-15

备注: ACL 2024

💡 一句话要点

研究发现大型语言模型在招聘决策中存在基于种族、民族和性别的歧视。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 招聘歧视 种族偏见 性别偏见 公平性评估

📋 核心要点

  1. 现有研究表明，人类在招聘中存在偏见，而大型语言模型是否会重现这些偏见是一个重要问题。
  2. 该研究通过操纵求职者姓名，并使用模板化的提示，来评估LLM在模拟招聘场景中的决策倾向。
  3. 实验结果表明，LLM在某些情况下更倾向于白人申请者，但这种倾向受提示词的影响，具有不确定性。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在招聘决策中是否表现出基于种族和性别的歧视，类似于社会科学中的经典发现。我们设计了一系列模板化的提示，让LLM向求职者发送关于招聘决定的邮件。通过操纵求职者的名字，我们测量了感知到的种族、民族和性别对LLM生成接受或拒绝邮件概率的影响。我们发现，在许多情况下，LLM的招聘决策更倾向于白人申请者，而不是西班牙裔申请者。总体而言，接受率最高和最低的群体分别是男性白人名字和男性西班牙裔名字。然而，不同模板设置下各组的相对接受率有所不同，表明LLM的种族和性别敏感性可能是特殊的并且对提示敏感。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在模拟招聘场景中，是否会表现出基于种族、民族和性别的歧视。现有方法主要关注人类的偏见，而忽略了LLM作为一种新兴的决策工具，可能存在的潜在偏见。这种偏见可能会在实际应用中造成不公平的结果。

核心思路：论文的核心思路是通过控制求职者的姓名，来模拟不同种族、民族和性别的身份，并观察LLM在生成招聘决策邮件时的倾向性。通过比较不同身份的求职者被接受的概率，来评估LLM是否存在歧视行为。

技术框架：该研究的技术框架主要包括以下几个步骤： 1. 姓名生成：生成代表不同种族、民族和性别的姓名列表。 2. 提示模板设计：设计一系列模板化的提示，用于引导LLM生成招聘决策邮件。 3. LLM调用：使用不同的姓名和提示模板，调用LLM生成邮件。 4. 结果分析：分析LLM生成的邮件，统计不同身份的求职者被接受的概率，并进行统计分析。

关键创新：该研究的关键创新在于，首次系统性地研究了LLM在模拟招聘场景中，是否存在基于种族、民族和性别的歧视。通过控制姓名这一关键变量，并使用模板化的提示，可以有效地评估LLM的决策倾向。

关键设计：研究中使用了多种提示模板，以评估LLM对不同提示的敏感性。此外，研究还考虑了不同种族、民族和性别的组合，以更全面地评估LLM的歧视行为。研究人员可能使用了统计显著性检验来确定观察到的差异是否具有统计意义。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究发现，在某些情况下，LLM更倾向于接受白人申请者，而不是西班牙裔申请者。具体而言，男性白人名字的接受率最高，而男性西班牙裔名字的接受率最低。然而，这种倾向性受到提示模板的影响，表明LLM的歧视行为可能是不稳定和上下文相关的。这些发现强调了在LLM应用中进行公平性评估的重要性。

🎯 应用场景

该研究结果对LLM在招聘领域的应用具有重要意义。如果LLM存在歧视行为，则需要在实际应用中采取措施来减轻或消除这些偏见，例如通过调整训练数据、修改提示模板或使用公平性约束等方法。该研究也提醒人们关注AI系统中的潜在偏见，并促进公平和负责任的AI开发。

📄 摘要（原文）

We examine whether large language models (LLMs) exhibit race- and gender-based name discrimination in hiring decisions, similar to classic findings in the social sciences (Bertrand and Mullainathan, 2004). We design a series of templatic prompts to LLMs to write an email to a named job applicant informing them of a hiring decision. By manipulating the applicant's first name, we measure the effect of perceived race, ethnicity, and gender on the probability that the LLM generates an acceptance or rejection email. We find that the hiring decisions of LLMs in many settings are more likely to favor White applicants over Hispanic applicants. In aggregate, the groups with the highest and lowest acceptance rates respectively are masculine White names and masculine Hispanic names. However, the comparative acceptance rates by group vary under different templatic settings, suggesting that LLMs' race- and gender-sensitivity may be idiosyncratic and prompt-sensitive.