Building a General SimCLR Self-Supervised Foundation Model Across Neurological Diseases to Advance 3D Brain MRI Diagnoses

📄 arXiv: 2509.10620v1 📥 PDF

作者: Emily Kaczmarek, Justin Szeto, Brennan Nichyporuk, Tal Arbel

分类: cs.CV, cs.LG

发布日期: 2025-09-12

备注: Accepted to ICCV 2025 Workshop CVAMD

🔗 代码/项目: GITHUB

💡 一句话要点

构建通用SimCLR自监督脑MRI基础模型，提升神经疾病3D诊断

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 SimCLR 3D脑MRI 基础模型 神经疾病诊断 对比学习 医学影像分析

📋 核心要点

  1. 现有深度学习模型在3D脑MRI分析中泛化性不足，且依赖大量标注数据，限制了其在不同任务和人群中的应用。
  2. 论文提出基于SimCLR的自监督学习框架，利用大量未标注的脑MRI数据预训练通用基础模型，提升模型泛化能力。
  3. 实验结果表明，该模型在多种神经疾病诊断任务中优于其他自监督和监督模型，尤其在小样本情况下表现突出。

📝 摘要（中文）

本研究提出了一种通用的、高分辨率的基于SimCLR的自监督学习（SSL）基础模型，用于3D脑结构磁共振成像（MRI）。该模型在来自11个公共数据集的18759名患者（44958次扫描）上进行了预训练，这些数据集涵盖了多种神经系统疾病。研究将该模型与掩码自编码器（MAE）以及两个监督学习基线模型在四个不同的下游预测任务中进行了比较，包括同分布和异分布设置。结果表明，经过微调的SimCLR模型在所有任务中均优于其他模型。值得注意的是，在仅使用20%的标记训练样本来预测阿尔茨海默病时，该模型仍然表现出卓越的性能。该研究公开了代码和数据，并发布了训练好的模型，为临床脑MRI分析贡献了一个广泛适用且易于访问的基础模型。

🔬 方法详解

问题定义：现有3D脑MRI分析的深度学习模型通常针对特定任务设计，缺乏泛化能力，且需要大量标注数据。获取大规模标注的脑MRI数据成本高昂，限制了模型的应用范围。因此，如何利用大量未标注的脑MRI数据，构建一个通用的、可泛化的基础模型，是亟待解决的问题。

核心思路：论文的核心思路是利用自监督学习（SSL）的SimCLR框架，通过对比学习的方式，从未标注的3D脑MRI数据中学习通用的表征。SimCLR通过最大化同一图像不同增强视图之间的一致性，来学习对图像内容不变的特征表示。这种方法避免了对大量标注数据的依赖，能够有效地利用未标注数据提升模型性能。

技术框架：该研究采用SimCLR框架进行自监督预训练，整体流程如下：1) 数据增强：对3D脑MRI数据进行一系列随机数据增强，生成同一图像的两个不同视图。2) 特征提取：使用3D卷积神经网络（CNN）作为编码器，提取两个视图的特征表示。3) 对比学习：通过最大化两个视图特征表示之间的一致性，来训练编码器。4) 微调：在下游任务中使用少量标注数据对预训练的编码器进行微调。

关键创新：该研究的关键创新在于构建了一个通用的、高分辨率的3D脑MRI基础模型，该模型在包含多种神经疾病的大规模数据集上进行了预训练，具有较强的泛化能力。此外，该研究还对比了SimCLR和MAE两种自监督学习方法在3D脑MRI上的表现，并验证了SimCLR在下游任务中的优越性。

关键设计：该研究采用了ResNet-3D作为编码器，并使用了多种数据增强方法，包括随机旋转、缩放、平移和噪声添加。对比学习损失函数采用了InfoNCE损失，该损失函数能够有效地将相似的样本拉近，将不相似的样本推远。在微调阶段，使用了交叉熵损失函数，并采用了Adam优化器进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的SimCLR模型在四个不同的下游预测任务中均优于其他模型，包括同分布和异分布设置。在仅使用20%的标记训练样本来预测阿尔茨海默病时，该模型仍然表现出卓越的性能，相比其他模型有显著提升。该模型在所有任务中都取得了最佳性能，证明了其在3D脑MRI分析中的有效性和泛化能力。

🎯 应用场景

该研究成果可广泛应用于神经系统疾病的诊断、预后预测和治疗方案制定。该基础模型能够为各种脑MRI分析任务提供强大的特征提取能力，降低对大量标注数据的依赖，加速相关研究的进展。未来，该模型可以进一步扩展到其他医学影像模态，构建更通用的医学影像基础模型。

📄 摘要（原文）

3D structural Magnetic Resonance Imaging (MRI) brain scans are commonly acquired in clinical settings to monitor a wide range of neurological conditions, including neurodegenerative disorders and stroke. While deep learning models have shown promising results analyzing 3D MRI across a number of brain imaging tasks, most are highly tailored for specific tasks with limited labeled data, and are not able to generalize across tasks and/or populations. The development of self-supervised learning (SSL) has enabled the creation of large medical foundation models that leverage diverse, unlabeled datasets ranging from healthy to diseased data, showing significant success in 2D medical imaging applications. However, even the very few foundation models for 3D brain MRI that have been developed remain limited in resolution, scope, or accessibility. In this work, we present a general, high-resolution SimCLR-based SSL foundation model for 3D brain structural MRI, pre-trained on 18,759 patients (44,958 scans) from 11 publicly available datasets spanning diverse neurological diseases. We compare our model to Masked Autoencoders (MAE), as well as two supervised baselines, on four diverse downstream prediction tasks in both in-distribution and out-of-distribution settings. Our fine-tuned SimCLR model outperforms all other models across all tasks. Notably, our model still achieves superior performance when fine-tuned using only 20% of labeled training samples for predicting Alzheimer's disease. We use publicly available code and data, and release our trained model at https://github.com/emilykaczmarek/3D-Neuro-SimCLR, contributing a broadly applicable and accessible foundation model for clinical brain MRI analysis.