Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT

📄 arXiv: 2310.05135v1 📥 PDF

作者: Akshaj Kumar Veldanda, Fabian Grob, Shailja Thakur, Hammond Pearce, Benjamin Tan, Ramesh Karri, Siddharth Garg

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-08

💡 一句话要点

利用LLMs评估算法招聘中的偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 算法招聘 偏见检测 大型语言模型 公平性评估 人力资源管理

📋 核心要点

  1. 现有算法招聘方法在处理受保护属性时可能存在偏见，影响招聘公平性。
  2. 本文通过重现经典实验，评估LLMs在简历匹配和信息总结中的偏见表现。
  3. 研究结果显示，LLMs在种族和性别方面表现良好，但在孕产状态和政治倾向上存在差异。

📝 摘要（中文）

大型语言模型（LLMs）如GPT-3.5、Bard和Claude在多个任务中展现了广泛的适用性，尤其是在算法招聘领域。然而，这也引发了关于性别、种族和孕产状态等受保护属性的偏见问题。本文重现了Bertrand和Mullainathan（2003）的经典实验，评估了当前最先进的LLMs在性别、种族、孕产状态和政治倾向等方面的偏见。研究表明，LLMs在种族和性别方面表现稳健，但在孕产状态和政治倾向上存在差异。通过对开源LLMs进行对比输入解码，揭示了潜在的偏见来源。

🔬 方法详解

问题定义：本文旨在解决算法招聘中存在的偏见问题，尤其是针对性别、种族和孕产状态等受保护属性的偏见。现有方法在识别和缓解这些偏见方面存在不足，可能导致不公平的招聘结果。

核心思路：本文通过重现Bertrand和Mullainathan的经典实验，利用当前最先进的LLMs评估其在招聘过程中的偏见表现。通过对比不同受保护属性的简历，分析LLMs的偏见来源。

技术框架：研究分为两个主要任务：1）将简历与职位类别匹配；2）总结简历中的就业相关信息。使用对比输入解码技术，分析不同LLMs在这些任务中的表现。

关键创新：本文的创新在于将对比输入解码应用于开源LLMs，揭示了在招聘偏见方面的潜在来源。这一方法与传统的偏见检测方法相比，提供了更深入的分析视角。

关键设计：在实验中，选择了多种LLMs（如GPT-3.5、Bard、Claude和Llama），并针对性别、种族、孕产状态和政治倾向等属性进行评估。通过对比不同模型的输出，分析其在各个属性上的表现差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在种族和性别方面表现稳健，未表现出明显的偏见。然而，在孕产状态和政治倾向的评估中，模型表现出差异性。具体而言，某些模型在处理孕产状态时的表现不如其他属性，提示了潜在的偏见问题。

🎯 应用场景

该研究的潜在应用领域包括人力资源管理、招聘系统的设计与优化，以及算法公平性评估。通过识别和缓解算法招聘中的偏见，可以提升招聘过程的公平性和透明度，促进多样性和包容性。未来，该研究可能影响招聘软件的开发和政策制定，推动更公正的就业环境。

📄 摘要（原文）

Large Language Models (LLMs) such as GPT-3.5, Bard, and Claude exhibit applicability across numerous tasks. One domain of interest is their use in algorithmic hiring, specifically in matching resumes with job categories. Yet, this introduces issues of bias on protected attributes like gender, race and maternity status. The seminal work of Bertrand & Mullainathan (2003) set the gold-standard for identifying hiring bias via field experiments where the response rate for identical resumes that differ only in protected attributes, e.g., racially suggestive names such as Emily or Lakisha, is compared. We replicate this experiment on state-of-art LLMs (GPT-3.5, Bard, Claude and Llama) to evaluate bias (or lack thereof) on gender, race, maternity status, pregnancy status, and political affiliation. We evaluate LLMs on two tasks: (1) matching resumes to job categories; and (2) summarizing resumes with employment relevant information. Overall, LLMs are robust across race and gender. They differ in their performance on pregnancy status and political affiliation. We use contrastive input decoding on open-source LLMs to uncover potential sources of bias.