Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

📄 arXiv: 2610.01963v1 📥 PDF

作者: Manar Aljohani, Brandon Ho, Kenneth McKinley, Dennis Ren, Xuan Wang

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出反事实审计方法以评估开源大语言模型在临床分诊中的偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反事实审计 开源大语言模型 临床分诊 偏见评估 急诊医学 公平性风险 模型比较

📋 核心要点

  1. 急诊分诊中，现有模型可能受到人口统计和社会经济因素的影响，导致评估结果不公平。
  2. 本研究通过构建反事实变体，比较十种开源大语言模型在儿科急诊严重性指数预测中的偏见表现。
  3. 实验结果显示，经过微调的Qwen2.5-7B模型在反事实敏感性上表现最佳，任何偏移率为5.27%，显著低于基线模型。

📝 摘要（中文）

本研究聚焦于急诊科分诊中的偏见问题，探讨人口统计、社会经济和系统背景信息如何影响病情严重性评估。通过对十种开源大语言模型进行反事实审计，构建了仅改变单一变量的反事实变体，评估模型在儿科急诊严重性指数预测中的表现。结果显示，模型的反事实敏感性差异显著，且并不总是随着模型规模或医学领域预训练的增加而降低。研究结果为在临床部署前比较开源大语言模型的公平性风险提供了轻量级且可解释的框架。

🔬 方法详解

问题定义：本研究旨在解决开源大语言模型在急诊分诊中可能存在的偏见问题，现有方法未能充分评估不同模型在处理人口统计和社会经济信息时的公平性。

核心思路：通过构建反事实变体，仅改变一个变量，保持临床表现不变，从而评估模型对不同因素的敏感性，提供公平性比较的框架。

技术框架：研究首先从真实和手册风格的临床案例出发，构建反事实变体，然后对十种模型进行评估，测量反事实偏移、低估和高估情况，最后进行分层和相关性分析。

关键创新：本研究的创新在于采用反事实审计方法，揭示了不同模型在处理偏见时的敏感性差异，提供了一种新的公平性评估工具。

关键设计：研究中使用的模型包括Qwen2.5-7B、MedLLaMA2-7B等，评估指标包括任何偏移率、均值偏移和绝对均值偏移等，特别关注微调模型的表现。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，微调后的Qwen2.5-7B模型在反事实敏感性方面表现最佳，任何偏移率为5.27%，均值绝对偏移为0.0534，相较于基线模型的16.02%和0.1706，显著降低了偏见风险。多个大型或医学领域模型则显示出更显著的偏移，揭示了模型间的公平性差异。

🎯 应用场景

该研究的潜在应用领域包括医疗决策支持系统，尤其是在急诊科分诊中。通过提供公平性评估框架，能够帮助医疗机构选择合适的模型，减少偏见对患者评估的影响，提升临床决策的公正性和准确性。

📄 摘要（原文）

Emergency department (ED) triage is a high-stakes prioritization task in which demographic, socioeconomic, and system-context information may improperly influence acuity assignment. Although open-source large language models (LLMs) are increasingly considered for local and privacy-preserving clinical decision support, it remains unclear how counterfactual bias varies across model families, sizes, medical-domain models, and domain-adapted models. We present a comparative counterfactual audit of ten open-source LLMs for pediatric Emergency Severity Index (ESI) prediction. Starting from real and handbook-style clinical vignettes, we construct paired counterfactual variants that change only one injected demographic, socioeconomic, healthcare-access, behavioral, social, or system-context variable while holding the clinical presentation fixed. Models include Qwen2.5-7B, Qwen2.5-14B-Instruct, a QLoRA fine-tuned Qwen2.5-7B, MedGemma variants, MedLLaMA2-7B, GPT-OSS-20B, and GPT-OSS-120B. We measure any counterfactual shift, undertriage, overtriage, shifts greater than one ESI level, mean shift, and mean absolute shift. Counterfactual sensitivity varied substantially and did not consistently decrease with larger model size or medical-domain pretraining. The fine-tuned Qwen2.5-7B showed the lowest overall sensitivity, with a 5.27% any-shift rate and mean absolute shift of 0.0534, versus 16.02% and 0.1706 for the base model. Several larger or medical-domain models showed more significant shifts. Stratified and correlation analyses further revealed clinically important directionality and shared failure patterns hidden by aggregate rates. These findings support counterfactual auditing as a lightweight, clinically interpretable framework for comparing fairness risks in open-source LLMs before clinical deployment.