Brain2Vec: A Self-Supervised 3D Foundation Model for Structural Brain MRI

📄 arXiv: 2610.28411v1 📥 PDF

作者: Spiros Maggioros, Guray Erus, Gareth Harman, George Aidinis, Alexander Getka, Aristeidis Sotiras, Christos Davatzikos

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-10-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出Brain2Vec以解决医学影像数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 深度学习 自监督学习 磁共振成像 特征提取 模型微调 脑部疾病 基础模型

📋 核心要点

  1. 现有医学影像深度学习模型在多样化任务中训练面临标注数据不足和计算资源限制的挑战。
  2. Brain2Vec通过在大规模MRI数据集上进行自监督预训练，提供了一个强大的基础模型，支持下游任务的微调和特征提取。
  3. 实验结果表明，Brain2Vec在脑龄预测任务中显著提高了准确性和收敛速度，并在多个分类任务中表现优于传统特征提取方法。

📝 摘要（中文）

深度学习模型在医学影像中已成为重要工具，但由于标注数据有限和计算资源受限，端到端训练面临挑战。为此，本文提出Brain2Vec，一个在74,425个T1加权磁共振成像（MRI）扫描上预训练的基础模型。Brain2Vec不仅可以作为下游任务的权重初始化骨干，还可以作为独立的特征提取器。通过在脑龄预测任务中使用Brain2Vec的预训练权重进行微调，结果显示其最终准确率和收敛速度均优于随机初始化。此外，其冻结的嵌入在五个下游分类任务中有四个超越了解剖定义的体积特征，并与在更多数据上预训练的先进基础模型表现相当。最后，Brain2Vec主要编码来自空间局部和神经解剖学上有意义的脑区的信息，操控部分潜在特征会对重建的解剖结构产生单调且区域特定的影响。

🔬 方法详解

问题定义：本文旨在解决医学影像深度学习模型在多样化任务中因标注数据不足和计算资源限制而导致的训练困难。现有方法往往依赖于大量标注数据，难以有效推广。

核心思路：Brain2Vec通过在大规模MRI数据集上进行自监督预训练，构建一个基础模型，能够为下游任务提供有效的权重初始化和特征提取，降低对标注数据的依赖。

技术框架：Brain2Vec的整体架构包括数据预处理、模型预训练和下游任务微调三个主要阶段。首先，利用大规模MRI数据进行自监督学习，然后在特定任务上进行微调以优化性能。

关键创新：Brain2Vec的主要创新在于其自监督学习策略和大规模数据集的使用，使其能够有效捕捉脑部结构特征，并在多个下游任务中表现出色。与传统方法相比，Brain2Vec在数据利用效率和模型泛化能力上具有显著优势。

关键设计：在模型设计中，Brain2Vec采用了特定的损失函数和网络结构，以确保其能够有效学习到脑部的解剖特征。此外，模型的参数设置经过精心调整，以优化预训练和微调过程中的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Brain2Vec的预训练权重进行微调，脑龄预测任务的最终准确率显著提高，收敛速度也更快。此外，其冻结的嵌入在五个下游分类任务中有四个超越了传统的解剖特征，且与在更多数据上预训练的先进模型表现相当，展示了其强大的特征学习能力。

🎯 应用场景

Brain2Vec在医学影像分析领域具有广泛的应用潜力，尤其是在脑部疾病的早期诊断和预测方面。通过提供高效的特征提取和模型初始化，Brain2Vec能够帮助研究人员和临床医生更好地理解脑部结构变化，推动个性化医疗的发展。未来，该模型可能在其他医学影像任务中也展现出重要价值。

📄 摘要（原文）

Deep learning models have become essential tools in medical imaging, yet training them end-to-end for diverse tasks remains challenging due to limited labeled data and computational constraints. To address this, we introduce Brain2Vec, a foundation model pre-trained on 74,425 T1-weighted Magnetic Resonance Imaging (MRI) scans pooled from multiple studies. Brain2Vec can serve both as a weight initialization backbone for fine-tuning downstream tasks and as a standalone feature extractor. We evaluated Brain2Vec in three tasks: downstream predictive performance, convergence speed, and embedding quality. Using Brain2Vec's pretrained weights as initialization and fine-tuning on labeled data for a brain age prediction task, results demonstrate improved final accuracy and faster convergence compared to random initialization. Additionally, its frozen embeddings outperform anatomically defined volumetric features on four of five downstream classification tasks and perform competitively with a state-of-the-art foundation model pre-trained on substantially more data. Lastly, we show that Brain2Vec encodes information primarily from a spatially localized and neuroanatomically meaningful set of brain regions, and that manipulating a subset of latent features produces monotonic, region-specific effects on the reconstructed anatomy. Brain2Vec code and trained models are available as an open-source package on https://github.com/CBICA/Brain2Vec. Users can apply Brain2Vec locally by installing the package, or directly through the NiChart cloud platform https://cloud.neuroimagingchart.com, where Brain2Vec features can be derived without requiring local installation or specialized infrastructure.