Linguistic Triggers of Gender and Racial Bias in Open-Weight LLMs Applied to Recruitment

📄 arXiv: 2609.18106v1 📥 PDF

作者: Kosuke Kitahara, Nobuhiro Yamaguchi

分类: cs.CL, cs.AI, cs.CY

发布日期: 2026-09-16

备注: Accepted at the 9th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026). Extended version with Appendices A-B (prompt templates and full stimulus set)

💡 一句话要点

提出多模型审计方法以识别招聘中的性别与种族偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性别偏见 种族偏见 招聘流程 大型语言模型 审计协议 AI伦理 开放权重模型

📋 核心要点

  1. 现有的开放权重大型语言模型在招聘中可能导致性别和种族偏见，但其具体的失效模式尚未被充分理解。
  2. 本文通过多模型审计，系统评估了职位发布语言对招聘者和求职者的影响，提出了一种新的审计协议。
  3. 实验结果显示，代理性语言对女性候选人产生负面影响，而编码排斥语言则显著抑制了非白人候选人的参与意愿。

📝 摘要（中文）

开放权重的大型语言模型正迅速进入招聘流程，但其歧视性失效模式及其在欧盟AI法案高风险分类和美国EEOC不利影响分析下的监管风险仍然不够明确。本文首次系统性地审计了六种开放权重LLM，探讨了职位发布语言对招聘者和求职者模拟任务的影响。研究发现，代理性语言降低了女性候选人的推荐分数，而社区语言则部分逆转了这一惩罚。此外，编码排斥语言显著抑制了非白人招聘者的评分，并对非白人求职者的兴趣表达产生了选择性抑制。最后，本文提出了一套具体的预部署审计协议，以满足高风险AI在招聘中的文档和风险管理要求。

🔬 方法详解

问题定义：本文旨在解决开放权重大型语言模型在招聘中引发的性别和种族偏见问题。现有方法未能有效识别和量化这些偏见的具体表现，导致招聘过程中的不公平现象。

核心思路：通过系统性审计不同语言模型，分析职位发布语言对招聘者和求职者的影响，提出了一种基于语言特征的审计协议，以识别和缓解潜在的偏见。

技术框架：研究设计了四个控制实验，分别针对招聘者模拟和求职者模拟任务，评估六种不同的开放权重模型。实验流程包括数据收集、模型评估、偏见识别和审计协议制定。

关键创新：本文的主要创新在于首次系统性地审计了多种开放权重LLM，并提出了具体的预部署审计协议，填补了现有研究的空白。

关键设计：实验中使用了标签消融实验以识别人口统计标签的因果驱动作用，并通过词嵌入关联测试验证了结果的代表性，确保了实验的可靠性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，代理性语言对女性候选人的推荐分数降低了显著的0.309（p_Bonf = 7x10^-5），而编码排斥语言对非白人招聘者的评分抑制效果在0.646至0.758之间，表明该研究在识别和量化偏见方面具有重要的实证价值。

🎯 应用场景

该研究的潜在应用领域包括人力资源管理、招聘流程优化及AI伦理审计。通过实施提出的审计协议，企业可以有效识别和减轻招聘过程中的性别和种族偏见，从而提升招聘公平性和多样性，符合相关法律法规的要求。

📄 摘要（原文）

Open-weight large language models are rapidly entering hiring pipelines, yet their discriminatory failure modes -- and the regulatory exposure these create under the EU AI Act high-risk classification (Annex III) and U.S. EEOC adverse-impact analysis -- remain poorly understood. We present the first systematic, multi-model audit of open-weight LLMs that treats job-posting language as the primary experimental variable, evaluating six models (Llama 3.2, Mistral, Gemma 3, Qwen 3, Phi 3, DeepSeek-R1) across four controlled experiments that jointly probe recruiter-simulation and job-seeker-simulation tasks. We find that (1) agentic posting language depresses recruiter recommendation scores for female candidates (r_rb = 0.309, p_Bonf = 7x10^-5; model-fixed-effects r_rb = 0.448), while communal language partially reverses the penalty; and (2) coded-exclusion language suppresses non-White recruiter scores at large effect sizes (r_rb = 0.646-0.758) and, on the job-seeker side, selectively deters non-White personas from expressing interest -- operationalizing a chilling-effect mechanism at scale. A label-ablation experiment isolates the explicit demographic persona label as the primary causal driver, and Word Embedding Association Tests corroborate these findings at the representational level (d = 1.01-1.45 under Caliskan et al.'s multi-word gender attribute lists). We translate these results into a concrete pre-deployment audit protocol -- posting-vocabulary scoring, persona-conditioned LLM probing, and adverse-impact flagging against the four-fifths threshold -- that operationalizes the documentation and risk-management obligations Annex III imposes on high-risk AI in recruitment.