Irrelevant Alternatives Bias Large Language Model Hiring Decisions

📄 arXiv: 2409.15299v1 📥 PDF

作者: Kremena Valkanova, Pencho Yordanov

分类: cs.CY, cs.AI, cs.HC

发布日期: 2024-09-04

期刊: https://aclanthology.org/2024.findings-emnlp.405

DOI: 10.18653/v1/2024.findings-emnlp.405

💡 一句话要点

研究发现大语言模型在招聘决策中存在“无关选项偏差”现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 认知偏差 吸引效应 招聘决策 人工智能伦理

📋 核心要点

  1. 人类在决策时易受“吸引效应”影响，即无关选项会改变偏好。
  2. 研究模拟招聘场景，考察LLM是否也存在这种认知偏差。
  3. 实验表明GPT-3.5和GPT-4均存在显著的“吸引效应”，且受诱饵属性影响。

📝 摘要（中文）

本文研究了大语言模型(LLM)在招聘决策中是否表现出一种著名的人类认知偏差，即“吸引效应”。当一个劣势候选人的出现使得一个优势候选人更具吸引力时，就会发生吸引效应，从而增加优势候选人被选择的可能性，超过一个非支配的竞争者。我们的研究发现，当GPT-3.5和GPT-4扮演招聘人员的角色时，存在一致且显著的吸引效应证据。诱饵的无关属性，如性别，进一步放大了观察到的偏差。GPT-4表现出比GPT-3.5更大的偏差变化。即使包含针对诱饵效应的警告并改变招聘人员角色定义，我们的发现仍然稳健。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在模拟招聘场景中，是否会表现出“吸引效应”这种人类认知偏差。现有方法缺乏对LLM在决策过程中潜在偏差的系统性评估，尤其是在涉及人类认知偏差的场景下。这种偏差可能导致不公平或非理性的决策结果。

核心思路：论文的核心思路是模拟招聘场景，通过构造包含优势候选人、竞争候选人和诱饵候选人的候选人集合，观察LLM在选择过程中的偏好变化。诱饵候选人的设计旨在触发吸引效应，如果LLM表现出对优势候选人的偏好增强，则表明存在吸引效应。

技术框架：研究框架主要包括以下几个步骤：1) 定义候选人属性（如技能、经验等）；2) 构建候选人集合，包括优势候选人、竞争候选人和诱饵候选人；3) 使用GPT-3.5和GPT-4作为招聘人员，对候选人进行评估和选择；4) 分析LLM的选择结果，统计吸引效应的发生频率和强度；5) 考察诱饵属性（如性别）对吸引效应的影响；6) 通过添加警告信息和改变角色定义来评估结果的稳健性。

关键创新：该研究的关键创新在于将心理学中的“吸引效应”引入到对LLM决策过程的评估中，揭示了LLM可能存在的认知偏差。此外，研究还考察了诱饵属性对偏差的影响，并评估了结果的稳健性。这为理解和改进LLM的决策行为提供了新的视角。

关键设计：研究中，候选人的属性被精心设计，以确保优势候选人在某些方面优于竞争候选人，而诱饵候选人则在所有方面都劣于优势候选人，但在某些方面与竞争候选人相似。实验中使用了不同的诱饵属性（如性别）来考察其对吸引效应的影响。此外，研究还通过添加警告信息和改变角色定义来评估结果的稳健性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-3.5和GPT-4在模拟招聘场景中均表现出显著的“吸引效应”。具体来说，诱饵候选人的存在显著提高了优势候选人被选择的概率。此外，诱饵的性别等无关属性会进一步放大这种偏差。GPT-4的偏差变化比GPT-3.5更大，表明其决策过程可能更复杂。

🎯 应用场景

该研究结果可应用于改进LLM在招聘、贷款审批等决策场景中的公平性和客观性。通过识别和减轻LLM的认知偏差，可以提高决策质量，避免歧视性结果。未来，可以开发算法来自动检测和纠正LLM的偏差，从而构建更值得信赖的人工智能系统。

📄 摘要（原文）

We investigate whether LLMs display a well-known human cognitive bias, the attraction effect, in hiring decisions. The attraction effect occurs when the presence of an inferior candidate makes a superior candidate more appealing, increasing the likelihood of the superior candidate being chosen over a non-dominated competitor. Our study finds consistent and significant evidence of the attraction effect in GPT-3.5 and GPT-4 when they assume the role of a recruiter. Irrelevant attributes of the decoy, such as its gender, further amplify the observed bias. GPT-4 exhibits greater bias variation than GPT-3.5. Our findings remain robust even when warnings against the decoy effect are included and the recruiter role definition is varied.