MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models
作者: Kaiwen Zuo, Yirui Jiang
分类: cs.CL, cs.AI
发布日期: 2024-12-25 (更新: 2025-03-28)
备注: Published to AAAI-25 Bridge Program
💡 一句话要点
MedHallBench：用于评估医学大语言模型幻觉的新基准
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学大语言模型 幻觉评估 基准测试 强化学习 医学图像 自然语言处理 临床应用
📋 核心要点
- 医学大语言模型易产生幻觉，导致医学信息不准确，对患者安全构成威胁，现有评估方法不够全面。
- MedHallBench构建了包含专家验证医学案例的综合基准，结合ACHMI自动评分和专家评估，实现更准确的幻觉评估。
- 通过优化的RLHF训练流程，MedHallBench能有效评估MLLMs在不同临床场景下的表现，并为模型改进提供指导。
📝 摘要（中文）
医学大语言模型(MLLMs)在医疗保健应用中展现出潜力，但其产生幻觉（生成医学上不可信或不准确的信息）的倾向对患者护理构成重大风险。本文介绍了MedHallBench，这是一个全面的基准框架，用于评估和减轻MLLMs中的幻觉。我们的方法将专家验证的医学案例场景与已建立的医学数据库相结合，以创建一个强大的评估数据集。该框架采用复杂的测量系统，将自动ACHMI（医学图像中的自动字幕幻觉测量）评分与严格的临床专家评估相结合，并利用强化学习方法实现自动标注。通过专门为医学应用设计的优化强化学习人类反馈（RLHF）训练流程，MedHallBench能够在保持严格准确性标准的同时，对MLLMs在各种临床环境下的表现进行全面评估。我们进行了涉及各种模型的比较实验，利用该基准为广泛采用的大语言模型（LLMs）建立基线。我们的研究结果表明，与传统指标相比，ACHMI能够更细致地理解幻觉的影响，从而突显其在幻觉评估中的优势。这项研究为提高MLLMs在医疗保健环境中的可靠性奠定了基础，并提出了解决医学应用中AI幻觉这一关键挑战的可行策略。
🔬 方法详解
问题定义：论文旨在解决医学大语言模型（MLLMs）中普遍存在的“幻觉”问题，即模型生成不准确或不真实的医学信息。现有方法在评估MLLMs的幻觉方面存在局限性，缺乏一个全面、可靠的基准来准确衡量和减轻这种现象。现有的评估指标可能无法充分捕捉到幻觉的细微差别，并且缺乏临床专家的参与，导致评估结果与实际临床应用脱节。
核心思路：论文的核心思路是构建一个综合性的基准框架MedHallBench，该框架结合了专家验证的医学案例、医学数据库以及自动幻觉测量方法，以更准确、更全面地评估MLLMs中的幻觉。通过引入临床专家的评估，并利用强化学习方法进行自动标注，该框架旨在弥合现有评估方法与实际临床应用之间的差距。
技术框架：MedHallBench框架主要包含以下几个关键模块：1) 医学案例场景构建：收集并整理专家验证的医学案例，构建一个包含各种临床场景的评估数据集。2) 自动幻觉测量（ACHMI）：利用自动化的图像字幕幻觉测量方法，对模型生成的医学文本进行初步评估。3) 临床专家评估：邀请临床专家对模型生成的文本进行严格评估，以验证ACHMI的准确性，并提供更细致的幻觉分析。4) 强化学习自动标注：使用强化学习方法，根据专家评估结果自动生成标注，从而提高评估效率。5) RLHF训练流程：设计优化的强化学习人类反馈（RLHF）训练流程，用于训练和改进MLLMs，以减少幻觉的产生。
关键创新：该论文的关键创新在于：1) 提出了一个综合性的医学幻觉评估基准MedHallBench，该基准结合了专家验证的医学案例、医学数据库和自动幻觉测量方法。2) 引入了ACHMI（医学图像中的自动字幕幻觉测量）作为一种新的幻觉评估指标，该指标能够更细致地理解幻觉的影响。3) 设计了专门为医学应用优化的RLHF训练流程，用于训练和改进MLLMs，以减少幻觉的产生。与现有方法相比，MedHallBench更注重临床专家的参与，并提供更全面、更准确的幻觉评估。
关键设计：MedHallBench的关键设计包括：1) 医学案例场景的选择：选择具有代表性和多样性的医学案例，以覆盖各种临床场景。2) ACHMI的实现细节：具体采用的图像字幕幻觉测量算法，以及相关的参数设置。3) 临床专家评估的标准：制定清晰、明确的评估标准，以确保评估结果的一致性和可靠性。4) RLHF训练流程的优化：针对医学应用的特点，对RLHF训练流程进行优化，例如，设计合适的奖励函数，以鼓励模型生成准确、真实的医学信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ACHMI指标能够更细致地理解幻觉的影响，优于传统指标。通过MedHallBench基准，研究团队对多种LLM进行了评估，并为后续模型改进提供了基线。该研究为医学大语言模型的幻觉评估提供了一个可靠的工具，并为未来的研究方向提供了指导。
🎯 应用场景
MedHallBench的研究成果可应用于医疗诊断辅助、医学知识问答、患者咨询等领域，提升医学大语言模型在实际医疗场景中的可靠性和安全性。通过降低模型产生幻觉的风险，有助于医生做出更准确的诊断和治疗决策，从而改善患者的治疗效果和生活质量。该研究为未来开发更值得信赖的医学人工智能系统奠定了基础。
📄 摘要（原文）
Medical Large Language Models (MLLMs) have demonstrated potential in healthcare applications, yet their propensity for hallucinations -- generating medically implausible or inaccurate information -- presents substantial risks to patient care. This paper introduces MedHallBench, a comprehensive benchmark framework for evaluating and mitigating hallucinations in MLLMs. Our methodology integrates expert-validated medical case scenarios with established medical databases to create a robust evaluation dataset. The framework employs a sophisticated measurement system that combines automated ACHMI (Automatic Caption Hallucination Measurement in Medical Imaging) scoring with rigorous clinical expert evaluations and utilizes reinforcement learning methods to achieve automatic annotation. Through an optimized reinforcement learning from human feedback (RLHF) training pipeline specifically designed for medical applications, MedHallBench enables thorough evaluation of MLLMs across diverse clinical contexts while maintaining stringent accuracy standards. We conducted comparative experiments involving various models, utilizing the benchmark to establish a baseline for widely adopted large language models (LLMs). Our findings indicate that ACHMI provides a more nuanced understanding of the effects of hallucinations compared to traditional metrics, thereby highlighting its advantages in hallucination assessment. This research establishes a foundational framework for enhancing MLLMs' reliability in healthcare settings and presents actionable strategies for addressing the critical challenge of AI hallucinations in medical applications.