Uncertainty Estimation of Large Language Models in Medical Question Answering
作者: Jiaxin Wu, Yizhou Yu, Hong-Yu Zhou
分类: cs.CL, cs.AI
发布日期: 2024-07-11
💡 一句话要点
提出Two-phase Verification方法，提升医学问答中大语言模型的不确定性估计
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 不确定性估计 医学问答 幻觉检测 Two-phase Verification
📋 核心要点
- 现有医学问答中大语言模型的不确定性估计方法效果不佳，难以有效检测模型幻觉。
- 提出Two-phase Verification方法，通过生成解释并验证其一致性来估计答案的不确定性。
- 实验表明，该方法在多个医学问答数据集上优于现有方法，且性能随模型增大而提升。
📝 摘要（中文）
大型语言模型(LLM)在医疗保健领域的自然语言生成方面展现出潜力，但也存在产生错误信息的风险。将LLM应用于医学问答需要可靠的不确定性估计(UE)方法来检测幻觉。本文对不同模型大小的常用UE方法在医学问答数据集上进行了基准测试。结果表明，当前方法在该领域表现普遍不佳，突显了医学应用中UE的挑战。我们还观察到，较大的模型往往会产生更好的结果，表明模型大小与UE的可靠性之间存在相关性。为了应对这些挑战，我们提出了一种无概率的不确定性估计方法：Two-phase Verification。首先，LLM生成逐步解释及其初始答案，然后构建验证问题以检查解释中的事实性声明。然后，模型两次回答这些问题：首先独立回答，然后参考解释。两组答案之间的不一致性衡量了原始响应中的不确定性。我们使用Llama 2 Chat模型在三个生物医学问答数据集上评估了我们的方法，并将其与基准基线方法进行了比较。结果表明，我们的Two-phase Verification方法在各种数据集和模型大小上实现了最佳的整体准确性和稳定性，并且其性能随着模型大小的增加而扩展。
🔬 方法详解
问题定义：现有的大语言模型在医学问答领域存在“幻觉”问题，即生成不准确或不真实的答案。可靠的不确定性估计（Uncertainty Estimation, UE）对于识别这些幻觉至关重要，但现有UE方法在医学领域表现不佳，无法有效区分正确答案和错误答案。
核心思路：Two-phase Verification的核心思想是通过引入对模型生成答案的解释进行验证的机制，来评估答案的可信度。如果模型生成的解释存在矛盾或不一致，则认为原始答案的不确定性较高。这种方法模拟了人类专家在评估答案时会检查其逻辑和证据链的过程。
技术框架：Two-phase Verification方法包含以下两个阶段： 1. 生成阶段：大语言模型不仅生成答案，还生成一个逐步的解释，说明得出该答案的理由。 2. 验证阶段：基于生成的解释，构建一系列验证问题，用于检查解释中包含的事实性声明。模型首先独立回答这些验证问题，然后再参考生成的解释回答这些问题。比较两次回答的结果，如果存在不一致，则认为原始答案具有较高的不确定性。
关键创新：该方法的主要创新在于将不确定性估计问题转化为一个一致性验证问题。与传统的基于概率的UE方法不同，Two-phase Verification是一种无概率的方法，它直接评估模型生成内容的内在一致性，从而更有效地检测幻觉。
关键设计： * 验证问题生成：如何从解释中自动生成有效的验证问题是一个关键设计。论文中可能使用了某种启发式规则或自然语言生成技术来实现这一点。 * 不一致性度量：如何量化两次回答之间的不一致性也是一个重要设计。可能使用了某种相似度度量或逻辑推理方法来评估回答的一致性。
🖼️ 关键图片
📊 实验亮点
Two-phase Verification方法在三个生物医学问答数据集上进行了评估，并与现有的不确定性估计方法进行了比较。实验结果表明，该方法在各种数据集和模型大小上都取得了最佳的整体准确性和稳定性。此外，该方法的性能随着模型大小的增加而提升，表明其具有良好的可扩展性。具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于医疗诊断辅助系统、医学知识库问答、以及患者健康咨询等领域。通过提高大语言模型在医学问答中的可靠性，可以减少错误信息带来的风险，提升医疗服务的质量和效率。未来，该方法可以与其他医疗人工智能技术相结合，构建更智能、更安全的医疗应用。
📄 摘要（原文）
Large Language Models (LLMs) show promise for natural language generation in healthcare, but risk hallucinating factually incorrect information. Deploying LLMs for medical question answering necessitates reliable uncertainty estimation (UE) methods to detect hallucinations. In this work, we benchmark popular UE methods with different model sizes on medical question-answering datasets. Our results show that current approaches generally perform poorly in this domain, highlighting the challenge of UE for medical applications. We also observe that larger models tend to yield better results, suggesting a correlation between model size and the reliability of UE. To address these challenges, we propose Two-phase Verification, a probability-free Uncertainty Estimation approach. First, an LLM generates a step-by-step explanation alongside its initial answer, followed by formulating verification questions to check the factual claims in the explanation. The model then answers these questions twice: first independently, and then referencing the explanation. Inconsistencies between the two sets of answers measure the uncertainty in the original response. We evaluate our approach on three biomedical question-answering datasets using Llama 2 Chat models and compare it against the benchmarked baseline methods. The results show that our Two-phase Verification method achieves the best overall accuracy and stability across various datasets and model sizes, and its performance scales as the model size increases.