Evaluation of Bias Towards Medical Professionals in Large Language Models

📄 arXiv: 2407.12031v1 📥 PDF

作者: Xi Chen, Yang Xu, MingKe You, Li Wang, WeiZhi Liu, Jian Li

分类: cs.CY, cs.AI

发布日期: 2024-06-30

备注: 36 pages, 6 figures

💡 一句话要点

大型语言模型在医学专业评估中存在对医疗人员的偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏见评估 医疗专业 住院医师选择 公平性 性别偏见 种族偏见 AI辅助招聘

📋 核心要点

  1. 现有方法缺乏对大型语言模型在医疗领域偏见的系统性评估，可能导致不公平的资源分配。
  2. 通过构建控制变量的虚构简历，并使用标准化提示，量化LLM在住院医师项目评估中的性别和种族偏见。
  3. 实验结果表明，GPT-4、Claude-3和Mistral-Large在不同医学专业中均存在显著的性别和种族偏见。

📝 摘要（中文）

本研究评估了大型语言模型（LLM）是否对医疗专业人员表现出偏见。通过创建虚构的候选人简历，控制身份因素，同时保持一致的资格。使用标准化提示，测试了三个LLM（GPT-4、Claude-3-haiku和Mistral-Large）对特定住院医师项目的简历进行评估。通过改变性别和种族信息来测试显性偏见，而通过改变姓名来测试隐性偏见，同时隐藏种族和性别。使用美国医学院协会的医生数据与真实世界的人口统计数据进行比较。评估了90万份简历。所有LLM在医学专业中都表现出显著的性别和种族偏见。性别偏好各不相同，在外科和骨科中偏爱男性候选人，而在皮肤科、家庭医学、妇产科、儿科和精神病学中偏爱女性。Claude-3和Mistral-Large通常偏爱亚洲候选人，而GPT-4在几个专业中偏爱黑人和西班牙裔候选人。测试显示，在各个专业中，对西班牙裔女性和亚洲男性有强烈的偏好。与真实世界的数据相比，LLM始终选择更高比例的女性和代表性不足的种族候选人，高于他们在医疗队伍中的实际代表性。GPT-4、Claude-3和Mistral-Large在评估住院医师选择的医疗专业人员时表现出显著的性别和种族偏见。这些发现强调了LLM在没有适当的偏见缓解策略的情况下，可能会持续存在偏见并损害医疗保健队伍多样性的潜力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在评估医疗专业人员时可能存在的偏见问题。现有方法缺乏对这些偏见的系统性评估，这可能导致在住院医师项目选择等关键决策中出现不公平的结果。现有方法没有充分考虑到LLM可能无意中延续或加剧社会偏见。

核心思路：论文的核心思路是通过构建虚构的候选人简历，控制身份因素（如性别和种族），同时保持资格一致，来隔离和量化LLM的偏见。通过改变简历中的姓名、性别和种族信息，并观察LLM的评估结果，可以揭示其潜在的偏见模式。这种方法允许研究人员在受控环境中评估LLM的决策过程，并识别其偏见来源。

技术框架：研究的技术框架包括以下几个主要阶段：1) 创建虚构简历：设计包含各种性别、种族和姓名的简历，确保资格条件一致。2) LLM评估：使用标准化提示，要求LLM对简历进行评估，以确定候选人是否适合特定的住院医师项目。3) 数据分析：分析LLM的评估结果，统计不同性别和种族候选人的选择比例，并与真实世界的数据进行比较。4) 偏见量化：使用统计方法量化LLM的性别和种族偏见。

关键创新：该研究的关键创新在于其系统性的方法，用于评估LLM在医疗专业评估中的偏见。通过控制身份因素并使用标准化提示，研究人员能够隔离和量化LLM的偏见，而无需担心其他混淆因素的影响。此外，该研究还使用了真实世界的数据作为基准，以评估LLM的评估结果与实际情况的偏差。

关键设计：研究的关键设计包括：1) 简历设计：精心设计简历，确保所有候选人具有相同的资格条件，只改变性别、种族和姓名等身份信息。2) 提示工程：使用标准化提示，确保LLM在评估简历时使用相同的标准。3) 数据分析：使用统计方法，如卡方检验，来量化LLM的性别和种族偏见。4) 对比分析：将LLM的评估结果与真实世界的数据进行比较，以评估其评估结果与实际情况的偏差。

📊 实验亮点

实验结果表明，GPT-4、Claude-3和Mistral-Large在评估医学专业人员时均表现出显著的性别和种族偏见。例如，在外科和骨科中，LLM更倾向于选择男性候选人，而在皮肤科、家庭医学、妇产科、儿科和精神病学中，更倾向于选择女性候选人。此外，Claude-3和Mistral-Large通常偏爱亚洲候选人，而GPT-4在几个专业中偏爱黑人和西班牙裔候选人。

🎯 应用场景

该研究结果可用于开发更公平的AI辅助招聘系统，尤其是在医疗保健领域。通过识别和减轻LLM中的偏见，可以促进医疗队伍的多样性，并确保所有候选人都有平等的机会。此外，该研究的方法可以推广到其他领域，以评估AI系统中的偏见。

📄 摘要（原文）

This study evaluates whether large language models (LLMs) exhibit biases towards medical professionals. Fictitious candidate resumes were created to control for identity factors while maintaining consistent qualifications. Three LLMs (GPT-4, Claude-3-haiku, and Mistral-Large) were tested using a standardized prompt to evaluate resumes for specific residency programs. Explicit bias was tested by changing gender and race information, while implicit bias was tested by changing names while hiding race and gender. Physician data from the Association of American Medical Colleges was used to compare with real-world demographics. 900,000 resumes were evaluated. All LLMs exhibited significant gender and racial biases across medical specialties. Gender preferences varied, favoring male candidates in surgery and orthopedics, while preferring females in dermatology, family medicine, obstetrics and gynecology, pediatrics, and psychiatry. Claude-3 and Mistral-Large generally favored Asian candidates, while GPT-4 preferred Black and Hispanic candidates in several specialties. Tests revealed strong preferences towards Hispanic females and Asian males in various specialties. Compared to real-world data, LLMs consistently chose higher proportions of female and underrepresented racial candidates than their actual representation in the medical workforce. GPT-4, Claude-3, and Mistral-Large showed significant gender and racial biases when evaluating medical professionals for residency selection. These findings highlight the potential for LLMs to perpetuate biases and compromise healthcare workforce diversity if used without proper bias mitigation strategies.