Auditing the Use of Language Models to Guide Hiring Decisions

📄 arXiv: 2404.03086v1 📥 PDF

作者: Johann D. Gaebler, Sharad Goel, Aziz Huq, Prasanna Tambe

分类: stat.AP, cs.CL

发布日期: 2024-04-03

💡 一句话要点

提出对应实验方法以审计语言模型在招聘中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 算法审计 语言模型 招聘决策 偏见检测 对应实验 人力资源管理 公平性

📋 核心要点

  1. 现有的算法审计方法缺乏有效的指导，尤其是在大型语言模型的应用中，难以识别和量化算法偏见。
  2. 本文提出通过对应实验来审计算法，利用实验操控申请材料中的种族和性别信息，以量化其对招聘决策的影响。
  3. 实验结果显示，使用先进的语言模型进行候选人评估时，存在明显的种族和性别差异，且这一发现具有一定的普遍性。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，针对算法偏见的监管工作变得愈发紧迫。当前的法规和文献对如何进行算法审计提供的指导有限。本文提出了一种审计算法的方法：对应实验，这是一种广泛应用于检测人类判断偏见的工具。在就业背景下，通过实验性操控申请材料中的种族和性别元素，评估其对决策的影响。我们将此方法应用于审计多种先进LLMs生成的候选人评估，发现存在中等程度的种族和性别差异，且这一模式在不同申请材料输入和任务框架下均较为稳健。最后，讨论了对应实验在算法审计中的重要局限性。

🔬 方法详解

问题定义：本文旨在解决如何有效审计大型语言模型在招聘决策中可能存在的算法偏见。现有方法缺乏系统性和可操作性，难以量化偏见的影响。

核心思路：通过对应实验的方法，操控申请材料中的种族和性别信息，评估其对招聘决策的影响，从而实现对算法的审计。此方法能够提供更直观的偏见检测手段。

技术框架：整体流程包括：1) 设计实验，确定操控的申请材料元素；2) 收集和生成多样化的申请材料；3) 使用多种LLMs进行候选人评估；4) 分析评估结果，比较不同种族和性别的影响。

关键创新：本文的主要创新在于将对应实验引入算法审计领域，提供了一种新的视角来识别和量化算法偏见，与传统的审计方法相比，具有更强的实验性和针对性。

关键设计：在实验设计中，关键参数包括申请材料的种族和性别信息的操控方式，以及评估模型的选择。损失函数和网络结构的具体设置依赖于所使用的LLMs，确保模型能够有效处理不同类型的输入。

📊 实验亮点

实验结果表明，使用先进的语言模型进行候选人评估时，存在中等程度的种族和性别差异。这一发现在不同类型的申请材料和任务框架下均保持稳健，显示出算法在招聘决策中可能存在的偏见问题。

🎯 应用场景

该研究的潜在应用领域包括人力资源管理、招聘系统的算法审计以及政策制定等。通过识别和量化算法偏见，能够帮助企业和机构优化招聘流程，确保公平性，提升社会信任度。未来，该方法还可扩展至其他领域的算法审计，具有广泛的实际价值。

📄 摘要（原文）

Regulatory efforts to protect against algorithmic bias have taken on increased urgency with rapid advances in large language models (LLMs), which are machine learning models that can achieve performance rivaling human experts on a wide array of tasks. A key theme of these initiatives is algorithmic "auditing," but current regulations -- as well as the scientific literature -- provide little guidance on how to conduct these assessments. Here we propose and investigate one approach for auditing algorithms: correspondence experiments, a widely applied tool for detecting bias in human judgements. In the employment context, correspondence experiments aim to measure the extent to which race and gender impact decisions by experimentally manipulating elements of submitted application materials that suggest an applicant's demographic traits, such as their listed name. We apply this method to audit candidate assessments produced by several state-of-the-art LLMs, using a novel corpus of applications to K-12 teaching positions in a large public school district. We find evidence of moderate race and gender disparities, a pattern largely robust to varying the types of application material input to the models, as well as the framing of the task to the LLMs. We conclude by discussing some important limitations of correspondence experiments for auditing algorithms.