GMAI-VL & GMAI-VL-5.5M: A Large Vision-Language Model and A Comprehensive Multimodal Dataset Towards General Medical AI

📄 arXiv: 2411.14522v2 📥 PDF

作者: Tianbin Li, Yanzhou Su, Wei Li, Bin Fu, Zhe Chen, Ziyan Huang, Guoan Wang, Chenglong Ma, Ying Chen, Ming Hu, Yanjun Li, Pengcheng Chen, Xiaowei Hu, Zhongying Deng, Yuanfeng Ji, Jin Ye, Yu Qiao, Junjun He

分类: cs.CV

发布日期: 2024-11-21 (更新: 2025-03-27)

💡 一句话要点

提出GMAI-VL，一个基于大规模多模态医学数据集的通用医学视觉-语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 视觉语言模型 多模态学习 医学诊断 临床决策

📋 核心要点

  1. 现有通用AI在医学领域效果有限，主要挑战在于缺乏专业的医学知识。
  2. GMAI-VL通过构建大规模多模态医学数据集，并采用三阶段训练策略，提升视觉和文本信息的融合。
  3. 实验结果表明，GMAI-VL在多模态医学任务上取得了SOTA性能，例如医学图像诊断和视觉问答。

📝 摘要（中文）

通用人工智能在医学领域的应用受到专业医学知识匮乏的限制。为了解决这个问题，我们构建了一个多模态医学数据集GMAI-VL-5.5M，它通过将数百个具有各种标注的专业医学数据集转换为高质量的图像-文本对而创建。该数据集提供了全面的任务覆盖、多样化的模态和丰富的图像-文本数据。在此数据集的基础上，我们开发了一个通用医学视觉-语言模型GMAI-VL，它采用三阶段训练策略，增强了视觉和文本信息的融合。这种方法显著提高了模型处理多模态数据的能力，支持准确的诊断和临床决策。实验表明，GMAI-VL在各种多模态医学任务（包括视觉问答和医学图像诊断）中实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决通用人工智能在医学领域应用受限的问题，核心痛点在于缺乏专业医学知识和高质量的医学多模态数据。现有方法难以有效融合医学图像和文本信息，导致诊断和临床决策的准确性不足。

核心思路：论文的核心思路是构建一个大规模、高质量的医学多模态数据集GMAI-VL-5.5M，并在此基础上训练一个通用的医学视觉-语言模型GMAI-VL。通过数据增强和三阶段训练策略，提升模型对医学图像和文本信息的理解和融合能力，从而提高诊断和临床决策的准确性。

技术框架：GMAI-VL的整体框架包含数据构建和模型训练两个主要阶段。首先，通过转换和整合多个医学数据集，构建GMAI-VL-5.5M数据集。然后，采用三阶段训练策略训练GMAI-VL模型，包括预训练、微调和任务特定训练。模型架构基于Transformer，包含视觉编码器和文本编码器，用于提取图像和文本特征，并通过跨模态注意力机制进行融合。

关键创新：论文的关键创新在于构建了大规模、高质量的医学多模态数据集GMAI-VL-5.5M，并提出了针对医学领域的视觉-语言模型GMAI-VL。与现有方法相比，GMAI-VL更注重医学知识的融入和多模态信息的有效融合，从而提高了模型在医学任务上的性能。

关键设计：GMAI-VL-5.5M数据集包含多种医学图像和文本数据，涵盖不同的疾病和模态。三阶段训练策略包括：1) 在大规模通用数据集上进行预训练，学习通用的视觉-语言知识；2) 在GMAI-VL-5.5M数据集上进行微调，学习医学领域的专业知识；3) 在特定医学任务上进行训练，优化模型性能。损失函数包括交叉熵损失和对比学习损失，用于优化分类和表示学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GMAI-VL在多个多模态医学任务上取得了最先进的性能，包括医学视觉问答和医学图像诊断。具体而言，在医学视觉问答任务上，GMAI-VL的准确率显著高于现有模型。在医学图像诊断任务上，GMAI-VL的诊断准确率和召回率均得到了显著提升，表明其具有强大的医学图像理解和推理能力。

🎯 应用场景

该研究成果可应用于辅助医学诊断、临床决策支持、医学教育和研究等领域。GMAI-VL模型能够帮助医生更准确地诊断疾病，提供个性化的治疗方案，并促进医学知识的传播和创新。未来，该模型有望成为医疗领域的重要工具，提高医疗效率和质量。

📄 摘要（原文）

Despite significant advancements in general AI, its effectiveness in the medical domain is limited by the lack of specialized medical knowledge. To address this, we formulate GMAI-VL-5.5M, a multimodal medical dataset created by converting hundreds of specialized medical datasets with various annotations into high-quality image-text pairs. This dataset offers comprehensive task coverage, diverse modalities, and rich image-text data. Building upon this dataset, we develop GMAI-VL, a general medical vision-language model, with a three-stage training strategy that enhances the integration of visual and textual information. This approach significantly improves the model's ability to process multimodal data, supporting accurate diagnoses and clinical decision-making. Experiments show that GMAI-VL achieves state-of-the-art performance across various multimodal medical tasks, including visual question answering and medical image diagnosis.