Bias in Large Language Models Across Clinical Applications: A Systematic Review

📄 arXiv: 2504.02917v1 📥 PDF

作者: Thanathip Suenghataiphorn, Narisara Tribuddharat, Pojsakorn Danpanichkul, Narathorn Kulthamrongsri

分类: cs.CL, cs.AI

发布日期: 2025-04-03

💡 一句话要点

系统性综述揭示临床大语言模型中普遍存在的偏见及其对患者的潜在危害

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床应用 偏见分析 系统性综述 医疗保健 公平性 健康不平等

📋 核心要点

  1. 现有临床大语言模型（LLMs）在训练数据和模型设计上存在偏见，可能导致对特定人群的误诊和不当治疗。
  2. 该研究通过系统性综述，分析了LLMs中偏见的来源、表现形式以及对不同患者属性的影响，揭示了其潜在危害。
  3. 研究强调需对临床LLMs进行严格评估，并持续监测其在实际应用中的表现，以确保公平性和安全性。

📝 摘要（中文）

背景：大型语言模型（LLMs）正迅速融入医疗保健领域，有望增强各种临床任务。然而，人们对其潜在偏见表示担忧，这些偏见可能会损害患者护理并加剧健康不公平现象。本系统性综述旨在调查LLMs中偏见的普遍性、来源、表现形式和临床影响。方法：我们对PubMed、OVID和EMBASE数据库进行了系统检索，从数据库建立到2025年，寻找评估LLMs应用于临床任务时偏见的研究。我们提取了LLM类型、偏见来源、偏见表现形式、受影响的属性、临床任务、评估方法和结果等数据。使用改进的ROBINS-I工具评估了偏见风险。结果：三十八项研究符合纳入标准，揭示了各种LLMs和临床应用中普遍存在的偏见。数据相关偏见（来自有偏见的训练数据）和模型相关偏见（来自模型训练）都是重要的促成因素。偏见表现为：分配性伤害（例如，不同的治疗建议）；代表性伤害（例如，刻板印象关联、有偏见的图像生成）；以及性能差异（例如，可变的输出质量）。这些偏见影响了多个属性，最常见的是种族/民族和性别，但也包括年龄、残疾和语言。结论：临床LLMs中的偏见是一个普遍存在的系统性问题，有可能导致误诊和不适当的治疗，特别是对于边缘化患者群体。对模型进行严格评估至关重要。此外，开发和实施有效的缓解策略，并结合在真实临床环境中的持续监测，对于确保LLMs在医疗保健领域安全、公平和值得信赖的部署至关重要。

🔬 方法详解

问题定义：论文旨在解决临床应用中大型语言模型（LLMs）存在的偏见问题。现有方法在训练数据和模型设计上存在固有的偏见，导致LLMs在处理不同人群的医疗数据时产生不公平或不准确的结果。这些偏见可能导致误诊、不适当的治疗建议，以及加剧健康不平等现象。

核心思路：论文的核心思路是通过系统性综述，全面梳理和分析现有研究中关于临床LLMs偏见的证据。通过识别偏见的来源、表现形式和影响，揭示其潜在危害，并为未来的研究和实践提供指导。这种方法旨在提高人们对LLMs偏见的认识，并促进开发更公平、更可靠的临床AI系统。

技术框架：该研究采用系统性综述的方法，包括以下主要阶段：1) 制定明确的研究问题和纳入排除标准；2) 对PubMed、OVID和EMBASE等数据库进行全面的文献检索；3) 筛选符合纳入标准的研究，并提取相关数据，包括LLM类型、偏见来源、偏见表现形式、受影响的属性、临床任务、评估方法和结果；4) 使用改进的ROBINS-I工具评估研究的偏见风险；5) 对提取的数据进行综合分析和总结，得出结论并提出建议。

关键创新：该研究的关键创新在于其系统性和全面性。它不仅识别了临床LLMs中存在的各种偏见，还深入分析了这些偏见的来源和表现形式，并探讨了它们对不同患者属性的影响。此外，该研究还提出了针对偏见缓解和持续监测的建议，为未来的研究和实践提供了有价值的指导。与现有方法相比，该研究更加注重偏见的系统性分析和临床影响评估。

关键设计：该研究的关键设计包括：1) 采用明确的纳入排除标准，确保纳入的研究具有相关性和质量；2) 使用改进的ROBINS-I工具评估研究的偏见风险，提高综述的可靠性；3) 提取详细的数据，包括LLM类型、偏见来源、偏见表现形式、受影响的属性、临床任务、评估方法和结果，为综合分析提供充足的信息；4) 对提取的数据进行定量和定性分析，揭示偏见的普遍性和影响。

📊 实验亮点

该综述分析了38项研究，揭示了临床LLMs中普遍存在的偏见，包括数据相关偏见和模型相关偏见。这些偏见表现为分配性伤害、代表性伤害和性能差异，影响了种族/民族、性别、年龄、残疾和语言等多个属性。研究强调，这些偏见可能导致误诊和不适当的治疗，特别是对于边缘化患者群体。

🎯 应用场景

该研究结果可应用于医疗保健领域，指导临床医生和AI开发者更好地理解和应对LLMs中的偏见。通过提高对偏见的认识，可以促进开发更公平、更可靠的临床AI系统，从而改善患者护理，减少健康不平等现象。未来，该研究可推动相关政策制定，规范LLMs在医疗领域的应用。

📄 摘要（原文）

Background: Large language models (LLMs) are rapidly being integrated into healthcare, promising to enhance various clinical tasks. However, concerns exist regarding their potential for bias, which could compromise patient care and exacerbate health inequities. This systematic review investigates the prevalence, sources, manifestations, and clinical implications of bias in LLMs. Methods: We conducted a systematic search of PubMed, OVID, and EMBASE from database inception through 2025, for studies evaluating bias in LLMs applied to clinical tasks. We extracted data on LLM type, bias source, bias manifestation, affected attributes, clinical task, evaluation methods, and outcomes. Risk of bias was assessed using a modified ROBINS-I tool. Results: Thirty-eight studies met inclusion criteria, revealing pervasive bias across various LLMs and clinical applications. Both data-related bias (from biased training data) and model-related bias (from model training) were significant contributors. Biases manifested as: allocative harm (e.g., differential treatment recommendations); representational harm (e.g., stereotypical associations, biased image generation); and performance disparities (e.g., variable output quality). These biases affected multiple attributes, most frequently race/ethnicity and gender, but also age, disability, and language. Conclusions: Bias in clinical LLMs is a pervasive and systemic issue, with a potential to lead to misdiagnosis and inappropriate treatment, particularly for marginalized patient populations. Rigorous evaluation of the model is crucial. Furthermore, the development and implementation of effective mitigation strategies, coupled with continuous monitoring in real-world clinical settings, are essential to ensure the safe, equitable, and trustworthy deployment of LLMs in healthcare.