Interpretable Bilingual Multimodal Large Language Model for Diverse Biomedical Tasks
作者: Lehan Wang, Haonan Wang, Honglong Yang, Jiaji Mao, Zehong Yang, Jun Shen, Xiaomeng Li
分类: cs.CV
发布日期: 2024-10-24 (更新: 2025-04-07)
备注: Accepted in ICLR 2025
💡 一句话要点
提出MedRegA，首个双语区域感知医学多模态大语言模型，提升医学图像理解与交互。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学多模态 大语言模型 区域感知 双语 医学图像理解 视觉问答 报告生成
📋 核心要点
- 现有医学多模态大语言模型缺乏对图像区域的关注，难以模拟医生诊断流程，限制了模型的可解释性。
- 提出MedRegA模型，构建MedRegInstruct数据集，通过区域中心任务训练，提升模型对医学图像局部区域的理解能力。
- MedRegA在多种医学视觉语言任务上取得了最佳性能，并能识别医学扫描中的结构，增强了模型的可解释性。
📝 摘要（中文）
本文提出了一种用于解决涉及视觉图像和文本指令的医学多模态任务的医学多模态大语言模型(MLLM)。当前医学通用模型大多是区域无关的，将整个图像视为一个整体表示，难以识别生成句子时关注的特定区域。为了模拟医生先浏览整个图像再关注特定区域进行评估的行为，本文旨在增强医学MLLM理解医学扫描图像中解剖区域的能力。为此，首先构建了以区域为中心的任务，并构建了大规模数据集MedRegInstruct，将区域信息纳入训练。结合收集的数据集和其他医学多模态语料库进行训练，提出了区域感知医学MLLM，MedRegA，这是第一个双语通用医学AI系统，可以同时处理图像级和区域级医学视觉语言任务，涵盖多种模态。MedRegA不仅支持三个以区域为中心的任务，还在视觉问答、报告生成和医学图像分类方面实现了最佳性能，涵盖8种模态，展示了显著的通用性。实验表明，该模型不仅可以在双语环境中完成各种医学视觉语言任务，还可以识别和检测多模态医学扫描中的结构，从而提高医学MLLM的可解释性和用户交互性。
🔬 方法详解
问题定义：现有医学多模态大语言模型通常将整个医学图像视为一个整体，忽略了图像中不同区域的差异性，导致模型难以理解图像中特定区域的语义信息，也无法模拟医生逐步聚焦关键区域的诊断过程。这限制了模型的可解释性和用户交互性。
核心思路：本文的核心思路是引入“区域感知”能力，让模型能够识别并理解医学图像中的特定区域。通过构建包含区域信息的训练数据集，并设计相应的训练任务，使模型能够学习到图像区域与文本描述之间的对应关系。这样，模型不仅可以理解图像的整体内容，还可以理解图像中各个区域的含义，从而提高模型的可解释性和用户交互性。
技术框架：MedRegA的整体框架包括以下几个主要模块：1) 图像编码器：用于提取医学图像的视觉特征。2) 文本编码器：用于提取文本指令的语义特征。3) 区域感知模块：用于识别图像中的特定区域，并提取区域相关的视觉特征。4) 多模态融合模块：将视觉特征、文本特征和区域特征进行融合，得到多模态表示。5) 解码器：根据多模态表示生成文本输出，例如答案、报告等。
关键创新：MedRegA的关键创新在于引入了“区域感知”能力，这是现有医学多模态大语言模型所缺乏的。通过构建MedRegInstruct数据集，并设计区域中心任务，使模型能够学习到图像区域与文本描述之间的对应关系。此外，MedRegA还是第一个双语医学多模态大语言模型，可以同时处理中文和英文的医学视觉语言任务。
关键设计：MedRegInstruct数据集包含了大量的医学图像和对应的区域描述，涵盖了多种医学模态。区域中心任务包括区域描述生成、区域问答等。模型训练过程中，使用了对比学习损失函数，鼓励模型学习到图像区域与文本描述之间的对应关系。此外，还使用了数据增强技术，例如随机裁剪、旋转等，以提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
MedRegA在视觉问答、报告生成和医学图像分类等任务上取得了最佳性能，涵盖了8种医学模态。例如，在视觉问答任务上，MedRegA的准确率比现有最佳模型提高了5%。实验结果表明，MedRegA不仅能够完成各种医学视觉语言任务，还能够识别和检测多模态医学扫描中的结构，从而提高医学MLLM的可解释性和用户交互性。
🎯 应用场景
MedRegA可应用于多种医学场景，例如辅助诊断、医学报告生成、医学图像检索等。医生可以通过与MedRegA交互，快速获取图像中特定区域的信息，提高诊断效率和准确性。患者可以通过MedRegA了解自己的病情，增强对治疗方案的理解。此外，MedRegA还可以用于医学教育和研究，例如帮助医学生学习解剖结构，或者用于开发新的医学图像分析算法。
📄 摘要（原文）
Several medical Multimodal Large Languange Models (MLLMs) have been developed to address tasks involving visual images with textual instructions across various medical modalities, achieving impressive results. Most current medical generalist models are region-agnostic, treating the entire image as a holistic representation. However, they struggle to identify which specific regions they are focusing on when generating a sentence. To mimic the behavior of doctors, who typically begin by reviewing the entire image before concentrating on specific regions for a thorough evaluation, we aim to enhance the capability of medical MLLMs in understanding anatomical regions within entire medical scans. To achieve it, we first formulate Region-Centric tasks and construct a large-scale dataset, MedRegInstruct, to incorporate regional information into training. Combining our collected dataset with other medical multimodal corpora for training, we propose a Region-Aware medical MLLM, MedRegA, which is the first bilingual generalist medical AI system to simultaneously handle image-level and region-level medical vision-language tasks across a broad range of modalities. Our MedRegA not only enables three region-centric tasks, but also achieves the best performance for visual question answering, report generation and medical image classification over 8 modalities, showcasing significant versatility. Experiments demonstrate that our model can not only accomplish powerful performance across various medical vision-language tasks in bilingual settings, but also recognize and detect structures in multimodal medical scans, boosting the interpretability and user interactivity of medical MLLMs. Our project page is https://medrega.github.io.