An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training
作者: Yuxiang Nie, Sunan He, Yequan Bie, Yihui Wang, Zhixuan Chen, Shu Yang, Zhiyuan Cai, Hongmei Wang, Xi Wang, Luyang Luo, Mingxiang Wu, Xian Wu, Ronald Cheong Kin Chan, Yuk Ming Lau, Yefeng Zheng, Pranav Rajpurkar, Hao Chen
分类: cs.CV, cs.CL
发布日期: 2025-01-26 (更新: 2025-04-26)
💡 一句话要点
提出ConceptCLIP，首个可解释的生物医学基础模型，提升诊断准确率并提供可解释性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物医学影像 多模态学习 可解释性AI 医学诊断 预训练模型
📋 核心要点
- 现有生物医学多模态模型是黑盒，缺乏临床意义上的可解释性，限制了其临床应用。
- ConceptCLIP通过双重对齐方法，同时学习全局图像-文本表示和细粒度区域-概念关联，实现可解释性。
- ConceptCLIP在52项临床任务中超越现有模型，并提供临床专家验证的可解释性，是重要里程碑。
📝 摘要（中文）
医学影像中人工智能的临床应用需要模型既具有诊断准确性，又能为临床医生提供可解释性。现有的多模态生物医学基础模型侧重于性能，但其黑盒特性阻碍了对临床概念决策过程的解释。本文提出了ConceptCLIP，这是首个可解释的生物医学基础模型，它在实现最先进诊断准确率的同时，还能在不同的影像模式中提供人类可理解的解释。作者构建了MedConcept-23M，这是最大的预训练数据集，包含跨多种医学模式的2300万图像-文本-概念三元组，其中临床概念来源于统一医学语言系统。利用该数据集，通过一种新颖的双重对齐方法开发了ConceptCLIP，该方法同时学习全局图像-文本表示和细粒度区域-概念关联，以实现精确且可解释的医学图像分析。作者还构建了最广泛的多模态生物医学基础模型评估基准，涵盖10种影像模式的52项临床任务。大量实验表明，ConceptCLIP优于现有的最先进的多模态生物医学基础模型。重要的是，ConceptCLIP在提供临床专家验证的人类可理解的解释的同时，还表现出卓越的诊断性能。作为首个精确且可解释的生物医学基础模型，ConceptCLIP代表了人工智能在医学领域广泛临床应用的关键里程碑，从而推动了医学领域中值得信赖的人工智能的发展。
🔬 方法详解
问题定义：现有生物医学多模态模型虽然在诊断准确率上有所提升，但普遍缺乏可解释性，难以让临床医生理解模型的决策过程。这种“黑盒”特性阻碍了AI在医学领域的信任和广泛应用。因此，如何构建一个既能保持高诊断准确率，又能提供人类可理解解释的生物医学模型是一个关键问题。
核心思路：ConceptCLIP的核心思路是通过引入临床概念作为桥梁，将图像区域与文本描述联系起来，从而实现模型决策过程的可解释性。具体来说，模型不仅学习全局的图像-文本表示，还学习细粒度的区域-概念关联。这样，模型在做出诊断决策时，可以同时给出与决策相关的临床概念，从而让医生理解模型的判断依据。
技术框架：ConceptCLIP的整体框架包括以下几个主要部分：1) MedConcept-23M数据集的构建，这是一个包含2300万图像-文本-概念三元组的大规模数据集；2) 双重对齐模块，该模块同时学习全局图像-文本表示和细粒度区域-概念关联；3) 预训练和微调过程，利用MedConcept-23M数据集进行预训练，然后在特定临床任务上进行微调。
关键创新：ConceptCLIP最重要的技术创新点在于其双重对齐方法，它将全局图像-文本表示学习与细粒度区域-概念关联学习相结合。这种方法使得模型不仅能够理解图像的整体语义，还能够识别图像中与特定临床概念相关的区域，从而实现可解释性。与现有方法相比，ConceptCLIP不再是一个黑盒，而是可以提供人类可理解的解释。
关键设计：ConceptCLIP的关键设计包括：1) MedConcept-23M数据集的构建，该数据集包含了大量的图像-文本-概念三元组，为模型的训练提供了充足的数据；2) 双重对齐模块的具体实现，可能涉及到特定的损失函数设计，例如对比学习损失或交叉熵损失，以促进全局和细粒度表示的学习；3) 网络结构的选择，例如使用Transformer架构来学习图像、文本和概念之间的关系。
🖼️ 关键图片
📊 实验亮点
ConceptCLIP在52项临床任务中取得了显著的性能提升，超越了现有的最先进的多模态生物医学基础模型。更重要的是，临床专家验证了ConceptCLIP提供的解释具有高度的可理解性和临床意义。这些结果表明，ConceptCLIP不仅具有卓越的诊断性能，还具有很强的可解释性，是AI在医学领域应用的重要一步。
🎯 应用场景
ConceptCLIP在医学影像诊断领域具有广泛的应用前景。它可以辅助医生进行疾病诊断，提高诊断效率和准确性。更重要的是，ConceptCLIP提供的可解释性可以帮助医生理解模型的决策过程，增强对AI的信任，从而促进AI在临床实践中的应用。未来，ConceptCLIP可以扩展到更多的医学领域，例如病理学、基因组学等，为精准医疗提供更强大的支持。
📄 摘要（原文）
The clinical adoption of artificial intelligence (AI) in medical imaging requires models that are both diagnostically accurate and interpretable to clinicians. While current multimodal biomedical foundation models prioritize performance, their black-box nature hinders explaining the decision-making process in clinically meaningful concepts. Here, we present ConceptCLIP, the first explainable biomedical foundation model that achieves state-of-the-art diagnostic accuracy while delivering human-interpretable explanations across diverse imaging modalities. We curate MedConcept-23M, the largest pre-training dataset comprising 23 million image-text-concept triplets across diverse medical modalities, where clinical concepts are derived from the Unified Medical Language System. Leveraging this dataset, we develop ConceptCLIP through a novel dual-alignment approach that simultaneously learns global image-text representations and fine-grained region-concept associations for precise and interpretable medical image analysis. We curate the most extensive evaluation benchmark for multimodal biomedical foundation models, covering 52 clinical tasks spanning 10 imaging modalities. Extensive experiments demonstrate that ConceptCLIP outperforms existing state-of-the-art multimodal biomedical foundation models. Importantly, ConceptCLIP demonstrates superior diagnostic performance while providing human-understandable explanations validated by clinical experts. As the first precise and interpretable biomedical foundation model, ConceptCLIP represents a critical milestone toward the widespread clinical adoption of AI, thereby advancing trustworthy AI in medicine.