DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models

📄 arXiv: 2408.01933v6 📥 PDF

作者: Bowen Wang, Jiuyang Chang, Yiming Qian, Guoxin Chen, Junhao Chen, Zhouqiang Jiang, Jiahao Zhang, Yuta Nakashima, Hajime Nagahara

分类: cs.CL, cs.AI

发布日期: 2024-08-04 (更新: 2025-07-01)

备注: Accepted by NeurIPS 2024 D&B Track

💡 一句话要点

提出DiReCT数据集，用于评估大型语言模型在临床诊断推理中的能力与可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床诊断 诊断推理 数据集 可解释性

📋 核心要点

  1. 现有大型语言模型在医学领域应用中，面临着在复杂临床场景下缺乏可解释性的挑战。
  2. 论文构建了DiReCT数据集，包含临床笔记、诊断推理过程和诊断知识图谱，用于评估LLMs的推理能力。
  3. 实验结果表明，当前领先的LLMs在DiReCT数据集上的推理能力与人类医生存在显著差距。

📝 摘要（中文）

大型语言模型（LLMs）最近展示了卓越的能力，涵盖了广泛的任务和应用，包括医疗领域。像GPT-4这样的模型在医学问答方面表现出色，但在实际临床环境中处理复杂任务时，可能面临缺乏可解释性的挑战。因此，我们引入了临床笔记的诊断推理数据集（DiReCT），旨在评估LLMs与人类医生相比的推理能力和可解释性。它包含511份临床笔记，每份都由医生精心注释，详细描述了从临床笔记中的观察到最终诊断的诊断推理过程。此外，还提供了一个诊断知识图谱，为推理提供必要的知识，这些知识可能未包含在现有LLMs的训练数据中。对DiReCT上领先LLMs的评估揭示了它们的推理能力与人类医生之间的显著差距，突出了对能够在真实临床场景中有效推理的模型的迫切需求。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在临床诊断推理中缺乏可解释性和推理能力不足的问题。现有方法，如直接使用LLM进行诊断，难以解释其推理过程，并且在处理复杂病例时准确率不高。缺乏专门用于评估LLM在临床推理方面的数据集也是一个痛点。

核心思路：论文的核心思路是构建一个高质量的诊断推理数据集DiReCT，该数据集包含临床笔记、详细的诊断推理过程以及诊断知识图谱。通过在该数据集上评估LLM的性能，可以更准确地衡量LLM在临床推理方面的能力，并促进可解释性推理方法的发展。

技术框架：DiReCT数据集的构建流程主要包括以下几个阶段：1) 收集临床笔记；2) 由医生对每份临床笔记进行详细的诊断推理过程标注，包括观察、推理步骤和最终诊断；3) 构建一个诊断知识图谱，提供推理所需的医学知识。评估LLM时，将临床笔记和知识图谱作为输入，要求LLM输出诊断结果和推理过程，并与医生标注的推理过程进行比较。

关键创新：该论文的关键创新在于构建了一个专门用于评估LLM在临床诊断推理方面能力的数据集DiReCT。该数据集不仅包含临床笔记和诊断结果，还包含了详细的诊断推理过程，这使得可以更全面地评估LLM的推理能力和可解释性。此外，提供的诊断知识图谱可以帮助LLM进行更准确的推理。

关键设计：DiReCT数据集包含511份临床笔记，每份笔记都由多位医生进行标注，以保证标注的质量和一致性。诊断知识图谱包含医学概念和概念之间的关系，可以为LLM提供必要的医学知识。评估指标包括诊断准确率、推理过程的相似度等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在DiReCT数据集上评估多个领先的LLM，发现它们在临床推理能力方面与人类医生存在显著差距。这一结果表明，当前LLM在处理复杂的临床诊断任务时仍存在局限性，需要进一步的研究和改进。DiReCT数据集的发布为未来的研究提供了一个重要的基准。

🎯 应用场景

该研究成果可应用于开发辅助诊断系统，帮助医生进行更准确、更高效的诊断。通过提高LLM在临床推理方面的能力和可解释性，可以增强医生对AI系统的信任，促进AI技术在医疗领域的广泛应用。未来，可以进一步探索如何利用DiReCT数据集来训练更强大的临床推理模型。

📄 摘要（原文）

Large language models (LLMs) have recently showcased remarkable capabilities, spanning a wide range of tasks and applications, including those in the medical domain. Models like GPT-4 excel in medical question answering but may face challenges in the lack of interpretability when handling complex tasks in real clinical settings. We thus introduce the diagnostic reasoning dataset for clinical notes (DiReCT), aiming at evaluating the reasoning ability and interpretability of LLMs compared to human doctors. It contains 511 clinical notes, each meticulously annotated by physicians, detailing the diagnostic reasoning process from observations in a clinical note to the final diagnosis. Additionally, a diagnostic knowledge graph is provided to offer essential knowledge for reasoning, which may not be covered in the training data of existing LLMs. Evaluations of leading LLMs on DiReCT bring out a significant gap between their reasoning ability and that of human doctors, highlighting the critical need for models that can reason effectively in real-world clinical scenarios.