Uncertainty-Aware Large Language Models for Explainable Disease Diagnosis

📄 arXiv: 2505.03467v1 📥 PDF

作者: Shuang Zhou, Jiashuo Wang, Zidu Xu, Song Wang, David Brauer, Lindsay Welton, Jacob Cogan, Yuen-Hei Chung, Lei Tian, Zaifu Zhan, Yu Hou, Mingquan Lin, Genevieve B. Melton, Rui Zhang

分类: cs.CL

发布日期: 2025-05-06

备注: 22 pages, 8 figures

💡 一句话要点

ConfiDx：面向可解释疾病诊断的、能感知不确定性的大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疾病诊断 不确定性感知 大型语言模型 可解释性 医学人工智能

📋 核心要点

  1. 现有诊断系统在证据不足时难以识别和解释诊断不确定性，导致潜在的误诊风险。
  2. ConfiDx通过微调开源LLM，使其具备诊断标准，从而能够识别和解释诊断中的不确定性。
  3. 实验表明ConfiDx在识别诊断不确定性、提升诊断性能和生成可信解释方面表现出色。

📝 摘要（中文）

可解释的疾病诊断利用患者信息（如体征和症状）和计算模型来生成可能的诊断和推理，具有明确的临床价值。然而，当临床记录包含的证据不足以做出明确诊断时，例如缺乏明确的症状，通常会出现诊断不确定性，从而增加误诊和不良后果的风险。虽然明确识别和解释诊断不确定性对于值得信赖的诊断系统至关重要，但这一点尚未得到充分研究。为了填补这一空白，我们引入了ConfiDx，这是一种通过使用诊断标准对开源LLM进行微调而创建的、能感知不确定性的大语言模型（LLM）。我们形式化了该任务，并组装了丰富注释的数据集，这些数据集捕获了不同程度的诊断模糊性。在真实世界数据集上评估ConfiDx表明，它擅长识别诊断不确定性，实现了卓越的诊断性能，并为诊断和不确定性生成了值得信赖的解释。据我们所知，这是第一个联合解决诊断不确定性识别和解释的研究，大大提高了自动诊断系统的可靠性。

🔬 方法详解

问题定义：论文旨在解决现有自动诊断系统在面对临床记录证据不足时，无法有效识别和解释诊断不确定性的问题。现有方法往往忽略了诊断过程中的模糊性和不确定性，导致诊断结果的可靠性降低，增加了误诊的风险。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大推理和生成能力，通过微调使其能够感知和解释诊断过程中的不确定性。通过将诊断标准融入LLM，使其能够识别证据不足的情况，并生成相应的解释。

技术框架：ConfiDx的整体框架包括以下几个关键步骤：1) 收集和标注包含不同程度诊断模糊性的数据集；2) 选择合适的开源LLM作为基础模型；3) 使用诊断标准和标注数据对LLM进行微调，使其具备识别和解释诊断不确定性的能力；4) 使用真实世界数据集评估ConfiDx的性能，包括诊断准确性和不确定性识别能力。

关键创新：论文的关键创新在于首次联合解决了诊断不确定性识别和解释的问题。以往的研究主要集中在提高诊断准确性上，而忽略了诊断过程中的不确定性。ConfiDx通过引入不确定性感知机制，提高了诊断系统的可靠性和可信度。

关键设计：论文的关键设计包括：1) 精心设计的标注数据集，涵盖了不同程度的诊断模糊性；2) 使用诊断标准作为微调的指导，确保LLM能够理解和应用医学知识；3) 设计了合适的评估指标，用于衡量ConfiDx在诊断准确性和不确定性识别方面的性能。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

📊 实验亮点

ConfiDx在真实世界数据集上表现出色，能够有效识别诊断不确定性，并生成可信的解释。具体的性能数据和对比基线在摘要中未给出，属于未知信息。但论文强调ConfiDx显著提高了自动诊断系统的可靠性，为未来的研究奠定了基础。

🎯 应用场景

该研究成果可应用于辅助医生进行疾病诊断，尤其是在临床证据不足的情况下，帮助医生识别潜在的诊断不确定性，从而避免误诊。此外，ConfiDx还可以生成可解释的诊断报告，提高患者对诊断结果的信任度。未来，该技术有望应用于远程医疗、智能健康管理等领域，提升医疗服务的质量和效率。

📄 摘要（原文）

Explainable disease diagnosis, which leverages patient information (e.g., signs and symptoms) and computational models to generate probable diagnoses and reasonings, offers clear clinical values. However, when clinical notes encompass insufficient evidence for a definite diagnosis, such as the absence of definitive symptoms, diagnostic uncertainty usually arises, increasing the risk of misdiagnosis and adverse outcomes. Although explicitly identifying and explaining diagnostic uncertainties is essential for trustworthy diagnostic systems, it remains under-explored. To fill this gap, we introduce ConfiDx, an uncertainty-aware large language model (LLM) created by fine-tuning open-source LLMs with diagnostic criteria. We formalized the task and assembled richly annotated datasets that capture varying degrees of diagnostic ambiguity. Evaluating ConfiDx on real-world datasets demonstrated that it excelled in identifying diagnostic uncertainties, achieving superior diagnostic performance, and generating trustworthy explanations for diagnoses and uncertainties. To our knowledge, this is the first study to jointly address diagnostic uncertainty recognition and explanation, substantially enhancing the reliability of automatic diagnostic systems.