Position Paper On Diagnostic Uncertainty Estimation from Large Language Models: Next-Word Probability Is Not Pre-test Probability

📄 arXiv: 2411.04962v1 📥 PDF

作者: Yanjun Gao, Skatje Myers, Shan Chen, Dmitriy Dligach, Timothy A Miller, Danielle Bitterman, Guanhua Chen, Anoop Mayampurath, Matthew Churpek, Majid Afshar

分类: cs.AI, cs.CL

发布日期: 2024-11-07

备注: Accepted to GenAI4Health Workshop at NeurIPS 2024

💡 一句话要点

大型语言模型诊断不确定性估计研究：提示词概率并非先验概率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 诊断决策支持 先验概率估计 电子健康记录 不确定性估计

📋 核心要点

  1. 现有大型语言模型在诊断决策支持中应用受限，无法准确估计临床决策所需的先验概率。
  2. 该研究通过分析LLM生成下一个词的概率，评估其作为先验概率估计的有效性，并指出其局限性。
  3. 在电子病历数据上，使用Mistral-7B和Llama3-70B模型进行实验，揭示了现有概率提取方法的不足。

📝 摘要（中文）

大型语言模型（LLMs）正被探索用于诊断决策支持，但它们估计先验概率的能力仍然有限，而先验概率对于临床决策至关重要。本研究使用结构化的电子健康记录数据，在三个诊断任务上评估了两个LLM，Mistral-7B和Llama3-70B。我们研究了当前提取LLM概率估计的三种方法，并揭示了它们的局限性。我们的目标是强调改进LLM置信度估计技术的必要性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在诊断决策支持中应用时，无法准确估计先验概率的问题。现有方法直接将LLM预测下一个词的概率作为先验概率的估计，但这种做法缺乏理论依据，可能导致错误的临床决策。现有方法的痛点在于缺乏对LLM概率估计的有效性和可靠性的评估。

核心思路：论文的核心思路是评估LLM预测下一个词的概率作为先验概率估计的有效性。通过分析LLM在不同诊断任务上的表现，揭示其局限性，并强调改进LLM置信度估计技术的必要性。论文认为，LLM的下一个词预测概率并不能直接等同于临床决策所需的先验概率。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择合适的LLM模型（Mistral-7B和Llama3-70B）；2) 准备结构化的电子健康记录数据；3) 定义三个诊断任务；4) 使用三种现有的方法提取LLM的概率估计；5) 分析和评估LLM在不同任务上的表现，并揭示其局限性。

关键创新：论文的关键创新在于对LLM在诊断决策支持中的概率估计方法进行了批判性评估。它挑战了将LLM的下一个词预测概率直接作为先验概率估计的传统做法，并指出了这种做法的潜在风险。论文强调了改进LLM置信度估计技术的重要性，为未来的研究方向提供了指导。

关键设计：论文的关键设计包括：1) 选择了具有代表性的LLM模型（Mistral-7B和Llama3-70B）；2) 使用了真实的电子健康记录数据，保证了研究的实际意义；3) 定义了三个不同的诊断任务，以评估LLM在不同场景下的表现；4) 采用了多种现有的概率提取方法，以进行全面的比较和分析。具体的参数设置、损失函数、网络结构等技术细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，直接使用LLM的下一个词预测概率作为先验概率估计存在局限性。通过对Mistral-7B和Llama3-70B在三个诊断任务上的评估，揭示了现有概率提取方法的不足，强调了改进LLM置信度估计技术的必要性。具体的性能数据和提升幅度未在摘要中详细说明，属于未知信息。

🎯 应用场景

该研究成果可应用于改进临床决策支持系统，提高诊断的准确性和可靠性。通过更准确地估计先验概率，可以减少误诊和漏诊的风险，从而改善患者的治疗效果。未来的研究可以探索更有效的LLM置信度估计技术，并将其应用于更广泛的医疗领域。

📄 摘要（原文）

Large language models (LLMs) are being explored for diagnostic decision support, yet their ability to estimate pre-test probabilities, vital for clinical decision-making, remains limited. This study evaluates two LLMs, Mistral-7B and Llama3-70B, using structured electronic health record data on three diagnosis tasks. We examined three current methods of extracting LLM probability estimations and revealed their limitations. We aim to highlight the need for improved techniques in LLM confidence estimation.