Towards a vision foundation model for comprehensive assessment of Cardiac MRI

📄 arXiv: 2410.01665v2 📥 PDF

作者: Athira J Jacob, Indraneel Borgohain, Teodora Chitiboi, Puneet Sharma, Dorin Comaniciu, Daniel Rueckert

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-10-02 (更新: 2024-10-06)

备注: 11 pages, 3 figures, 4 tables

DOI: 10.1016/j.jocmr.2025.101967

💡 一句话要点

提出用于心脏磁共振成像综合评估的视觉基础模型，提升多种临床任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏磁共振成像 视觉基础模型 自监督学习 医学图像分析 小样本学习

📋 核心要点

  1. 现有心脏磁共振图像分析模型依赖大量标注数据，且任务间缺乏关联，限制了其泛化能力。
  2. 本文提出一种视觉基础模型，通过自监督学习海量CMR图像，再针对特定任务进行微调。
  3. 实验证明，该模型在多种临床任务上均优于现有方法，尤其在小样本学习方面优势明显。

📝 摘要（中文）

心脏磁共振成像(CMR)是无创心脏评估的金标准，但其多样性和复杂性对图像处理提出了挑战。深度学习的进步推动了相关任务的发展，但数据和标签的稀缺性，尤其是在不常见的成像序列中，限制了模型训练。此外，现有模型通常针对特定任务训练，缺乏任务间的关联。本文提出了一种用于CMR评估的视觉基础模型，该模型在3600万张CMR图像上以自监督方式进行训练。然后，针对CMR工作流程中的9个临床任务（包括分类、分割、地标定位和病理检测），以监督方式对模型进行微调。结果表明，在各种可用标记数据集大小下，该模型在所有任务中均能提高准确性和鲁棒性。同时，该模型在少量样本学习方面表现更佳，这在医学图像分析中是一个常见的挑战。对于大多数临床任务，该模型实现了与现有技术水平相当的开箱即用性能。因此，该方法提供了一种资源高效、统一的CMR评估框架，即使在少量标注数据的情况下，也有潜力加速基于深度学习的图像分析解决方案的开发。

🔬 方法详解

问题定义：现有心脏磁共振成像(CMR)分析方法通常针对特定任务训练，需要大量标注数据，且不同任务的模型之间缺乏知识共享。这导致模型泛化能力受限，尤其是在数据稀缺的情况下，难以满足临床需求。现有方法的痛点在于数据效率低、任务通用性差。

核心思路：本文的核心思路是利用自监督学习预训练一个通用的视觉基础模型，使其能够从大量无标注的CMR图像中学习到通用的图像特征表示。然后，针对不同的临床任务，使用少量标注数据对预训练模型进行微调，从而实现快速适应和高性能。

技术框架：该方法包含两个主要阶段：自监督预训练和监督微调。在自监督预训练阶段，模型在大规模未标注的CMR图像数据集上进行训练，学习图像的通用特征表示。在监督微调阶段，使用少量标注数据，针对特定的临床任务（如分类、分割、地标定位等）对预训练模型进行微调。整体流程是从无标注数据中学习通用特征，再利用少量标注数据进行任务适配。

关键创新：最重要的技术创新点在于利用自监督学习构建了一个通用的CMR视觉基础模型。与传统的针对特定任务训练的模型相比，该模型能够学习到更丰富的图像特征表示，从而提高模型的泛化能力和数据效率。本质区别在于从任务特定的学习转变为先学习通用特征再进行任务适配。

关键设计：在自监督预训练阶段，使用了对比学习的目标函数，例如SimCLR或MoCo，以学习图像的鲁棒特征表示。在监督微调阶段，使用了交叉熵损失函数（用于分类任务）和Dice损失函数（用于分割任务）。网络结构使用了ResNet或Vision Transformer等常用的图像分类和分割模型。关键参数包括自监督学习的batch size、学习率，以及微调阶段的学习率和训练epochs。

📊 实验亮点

实验结果表明，该视觉基础模型在9个不同的CMR临床任务上均取得了显著的性能提升，包括分类、分割、地标定位和病理检测。在小样本学习场景下，该模型表现出更强的优势，仅需少量标注数据即可达到甚至超过现有方法的性能。例如，在某些任务上，使用10%的标注数据即可达到现有方法使用全部标注数据的性能水平。该模型在大多数临床任务上实现了与现有技术水平相当的开箱即用性能。

🎯 应用场景

该研究成果可广泛应用于心脏疾病的诊断和治疗，例如辅助医生进行心脏结构和功能的评估、病灶的检测和分割、以及预后预测。该模型能够降低对大量标注数据的依赖，加速深度学习在医学图像分析领域的应用，并有望推动个性化医疗的发展。未来，该模型可以扩展到其他医学影像模态，构建更通用的医学影像分析平台。

📄 摘要（原文）

Cardiac magnetic resonance imaging (CMR), considered the gold standard for noninvasive cardiac assessment, is a diverse and complex modality requiring a wide variety of image processing tasks for comprehensive assessment of cardiac morphology and function. Advances in deep learning have enabled the development of state-of-the-art (SoTA) models for these tasks. However, model training is challenging due to data and label scarcity, especially in the less common imaging sequences. Moreover, each model is often trained for a specific task, with no connection between related tasks. In this work, we introduce a vision foundation model trained for CMR assessment, that is trained in a self-supervised fashion on 36 million CMR images. We then finetune the model in supervised way for 9 clinical tasks typical to a CMR workflow, across classification, segmentation, landmark localization, and pathology detection. We demonstrate improved accuracy and robustness across all tasks, over a range of available labeled dataset sizes. We also demonstrate improved few-shot learning with fewer labeled samples, a common challenge in medical image analyses. We achieve an out-of-box performance comparable to SoTA for most clinical tasks. The proposed method thus presents a resource-efficient, unified framework for CMR assessment, with the potential to accelerate the development of deep learning-based solutions for image analysis tasks, even with few annotated data available.