UniBiomed: A Universal Foundation Model for Grounded Biomedical Image Interpretation

📄 arXiv: 2504.21336v3 📥 PDF

作者: Linshan Wu, Yuxiang Nie, Sunan He, Jiaxin Zhuang, Luyang Luo, Tao Li, Zhuoyao Xie, Dexuan Chen, Yinghua Zhao, Neeraj Mahboobani, Varut Vardhanabhuti, Ronald Cheong Kin Chan, Yifan Peng, Pranav Rajpurkar, Hao Chen

分类: cs.CV

发布日期: 2025-04-30 (更新: 2025-12-11)

备注: A universal foundation model for grounded biomedical image interpretation

💡 一句话要点

UniBiomed：用于可解释生物医学图像分析的通用基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学图像分析 可解释性AI 多模态学习 大型语言模型 图像分割 疾病诊断 基础模型

📋 核心要点

  1. 现有生物医学AI模型缺乏同时生成诊断结果和定位病灶的能力，限制了临床医生对AI结果的理解。
  2. UniBiomed通过集成多模态大型语言模型和Segment Anything Model，实现诊断结果生成和病灶定位的统一。
  3. UniBiomed在70个内部和14个外部数据集上验证，在图像分割、疾病识别等任务中表现出最先进的性能。

📝 摘要（中文）

为了将AI辅助的生物医学图像分析整合到临床实践中，需要AI生成的诊断结果不仅准确，而且对临床医生来说是可解释的。然而，现有的生物医学AI模型通常缺乏同时生成诊断结果和定位相应生物医学对象的能力。这种局限性使得临床医生难以将AI生成的发现与图像中的视觉证据（例如，微小病灶）相关联，并解释AI模型的结果。为了解决这个问题，我们推出了UniBiomed，这是第一个用于可解释生物医学图像分析的通用基础模型，它能够生成准确的诊断结果，并同时分割相应的生物医学目标。UniBiomed基于多模态大型语言模型和Segment Anything Model的创新集成，可以有效地统一各种生物医学任务，从而推进可解释性。为了开发UniBiomed，我们整理了一个大规模数据集，包含跨越十种生物医学成像模式的超过2700万个图像、区域注释和文本描述的三元组。在70个内部数据集和14个外部数据集上的广泛验证表明，UniBiomed在各种生物医学任务中都表现出了最先进的性能，包括图像分割、疾病识别、区域感知诊断、视觉问答和报告生成。总而言之，UniBiomed是一个强大而通用的生物医学基础模型，释放了未开发的可解释性能力，从而优化了AI辅助的生物医学图像分析。

🔬 方法详解

问题定义：现有生物医学图像分析模型难以同时提供准确的诊断结果和定位图像中的相关区域，导致临床医生难以理解和信任AI的决策过程。缺乏可解释性阻碍了AI在临床实践中的广泛应用。

核心思路：UniBiomed的核心思路是将多模态大型语言模型（用于诊断结果生成）和Segment Anything Model（用于病灶定位）进行有效集成，从而实现“grounded interpretation”，即诊断结果与视觉证据的关联。通过统一训练，模型能够同时理解图像内容并生成可解释的诊断信息。

技术框架：UniBiomed的整体框架包含以下几个关键模块：1) 图像编码器：用于提取生物医学图像的视觉特征。2) 文本编码器：用于编码文本描述和诊断信息。3) 多模态融合模块：将视觉特征和文本特征进行融合，实现跨模态信息的交互。4) 分割模块：利用Segment Anything Model进行病灶分割。5) 语言模型：生成诊断报告和回答相关问题。整个流程通过端到端的方式进行训练。

关键创新：UniBiomed最重要的创新在于其“grounded interpretation”能力，即模型不仅能给出诊断结果，还能定位图像中支持该诊断的区域。这种能力是通过多模态融合和分割模块的协同作用实现的。与现有方法相比，UniBiomed提供了更强的可解释性和临床实用性。

关键设计：UniBiomed的关键设计包括：1) 大规模数据集的构建，包含超过2700万个图像、区域注释和文本描述的三元组。2) 多模态融合模块的设计，需要有效融合视觉和文本信息。3) 损失函数的设计，需要同时优化诊断结果的准确性和分割的精度。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniBiomed在70个内部数据集和14个外部数据集上进行了广泛验证，结果表明其在图像分割、疾病识别、区域感知诊断、视觉问答和报告生成等任务中均取得了最先进的性能。具体的性能数据和提升幅度在论文中未详细给出，属于未知信息。但总体而言，实验结果充分证明了UniBiomed的有效性和泛化能力。

🎯 应用场景

UniBiomed具有广泛的应用前景，包括辅助疾病诊断、医学影像报告生成、医学教育和科研等。它可以帮助临床医生更准确、更高效地进行疾病诊断，提高诊断效率和准确性。此外，UniBiomed还可以用于医学影像教学，帮助学生更好地理解医学影像和疾病之间的关系。未来，UniBiomed有望成为临床医生不可或缺的AI助手。

📄 摘要（原文）

The integration of AI-assisted biomedical image analysis into clinical practice demands AI-generated findings that are not only accurate but also interpretable to clinicians. However, existing biomedical AI models generally lack the ability to simultaneously generate diagnostic findings and localize corresponding biomedical objects. This limitation makes it challenging for clinicians to correlate AI-generated findings with visual evidence (e.g., tiny lesions) in images and interpret the results of AI models. To address this challenge, we introduce UniBiomed, the first universal foundation model for grounded biomedical image interpretation, which is capable of generating accurate diagnostic findings and simultaneously segmenting the corresponding biomedical targets. UniBiomed is based on a novel integration of Multi-modal Large Language Model and Segment Anything Model, which can effectively unify diverse biomedical tasks in universal training for advancing grounded interpretation. To develop UniBiomed, we curate a large-scale dataset comprising over 27 million triplets of images, region annotations, and text descriptions across ten biomedical imaging modalities. Extensive validation on 70 internal and 14 external datasets demonstrated the state-of-the-art performance of UniBiomed in diverse biomedical tasks, including image segmentation, disease recognition, region-aware diagnosis, vision question answering, and report generation. In summary, UniBiomed is a powerful and versatile biomedical foundation model, unlocking the untapped grounded interpretation capability for optimizing AI-assisted biomedical image analysis.