Large Connectome Model: An fMRI Foundation Model of Brain Connectomes Empowered by Brain-Environment Interaction in Multitask Learning Landscape
作者: Ziquan Wei, Tingting Dan, Guorong Wu
分类: cs.LG, cs.AI
发布日期: 2025-10-21
备注: 12 pages 6 figures
💡 一句话要点
提出基于脑-环境交互多任务学习的脑连接组fMRI基础模型，提升临床应用性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: fMRI 脑连接组 基础模型 多任务学习 脑-环境交互 神经影像 半监督学习
📋 核心要点
- 现有AI模型在临床神经影像应用中受限于样本量，难以充分学习脑-结果关系。
- 论文提出基于脑-环境交互的多任务学习框架，利用海量数据进行预训练和半监督微调。
- 实验表明，该模型在多种神经疾病诊断和行为识别任务中表现出提升，具有临床应用潜力。
📝 摘要（中文）
为了促进临床应用，解决当前AI模型因样本量有限而性能受限的问题，本文提出了一种可靠的功能神经影像基础模型。该模型通过在大量未标记的fMRI数据上进行可扩展的自监督学习来预训练大型模型。考虑到自监督学习与脑-结果关系不一定对齐，本文利用丰富的环境变量和人口统计数据以及前所未有的功能神经影像数据，将大脑建模视为一个多任务学习问题，并提出了一种可扩展的模型架构，用于（i）通过标记多个脑-环境交互（BEI）进行多任务预训练，以及（ii）通过分配预训练BEI的伪标签进行半监督微调。该基础模型在性别预测、人类行为识别以及自闭症、帕金森病、阿尔茨海默病和精神分裂症的疾病早期诊断等多种应用中进行了评估，结果表明其在促进当前神经影像临床应用方面具有巨大潜力。
🔬 方法详解
问题定义：现有功能神经影像AI模型在临床应用中面临挑战，主要原因是训练数据量不足，导致模型泛化能力差，无法有效预测疾病结果。传统的自监督学习方法虽然可以利用大量无标签数据进行预训练，但其学习目标与最终的临床预测任务并不完全一致，导致预训练模型在下游任务中的表现次优。
核心思路：论文的核心思路是将大脑建模视为一个多任务学习问题，通过整合丰富的环境因素和人口统计学数据，构建脑-环境交互（BEI）表征，并利用这些表征进行多任务预训练。这种方法旨在使模型能够学习到更具临床相关性的特征，从而提高其在下游任务中的性能。
技术框架：该模型包含两个主要阶段：多任务预训练和半监督微调。在多任务预训练阶段，模型通过tokenizing多个脑-环境交互（BEI）进行学习。在半监督微调阶段，模型利用预训练的BEI生成伪标签，并使用这些伪标签进行微调。整体架构采用可扩展的设计，能够处理大规模的fMRI数据。
关键创新：该论文的关键创新在于将脑-环境交互纳入到功能神经影像模型的训练中。通过显式地建模大脑与环境之间的关系，模型能够学习到更丰富的上下文信息，从而提高其对神经疾病和行为的预测能力。此外，该论文还提出了一种可扩展的多任务学习框架，能够有效地利用大规模的fMRI数据。
关键设计：在多任务预训练阶段，论文可能采用了对比学习或掩码语言模型等技术来学习BEI的表征。损失函数的设计可能包括多个任务的损失项，例如性别预测、行为识别和疾病诊断等。网络结构可能采用了Transformer或图神经网络等模型，以捕捉大脑连接组中的复杂关系。具体的参数设置和网络结构细节需要在论文中进一步查找。
🖼️ 关键图片
📊 实验亮点
论文在性别预测、人类行为识别以及自闭症、帕金森病、阿尔茨海默病和精神分裂症的早期诊断等多个任务上验证了模型的有效性。虽然具体的性能数据和提升幅度需要在论文中查找，但摘要中“promising results indicate the great potential”表明该模型在这些任务上取得了显著的性能提升，优于现有的方法。
🎯 应用场景
该研究成果可应用于多种临床场景，例如神经疾病的早期诊断、疾病风险预测、个性化治疗方案制定以及药物研发等。通过构建更准确、更可靠的脑连接组模型，可以帮助医生更好地理解大脑功能，从而提高临床决策的准确性和效率。此外，该模型还可以用于研究大脑与环境之间的相互作用，为理解人类行为和认知提供新的视角。
📄 摘要（原文）
A reliable foundation model of functional neuroimages is critical to promote clinical applications where the performance of current AI models is significantly impeded by a limited sample size. To that end, tremendous efforts have been made to pretraining large models on extensive unlabeled fMRI data using scalable self-supervised learning. Since self-supervision is not necessarily aligned with the brain-to-outcome relationship, most foundation models are suboptimal to the downstream task, such as predicting disease outcomes. By capitalizing on rich environmental variables and demographic data along with an unprecedented amount of functional neuroimages, we form the brain modeling as a multitask learning and present a scalable model architecture for (i) multitask pretraining by tokenizing multiple brain-environment interactions (BEI) and (ii) semi-supervised finetuning by assigning pseudo-labels of pretrained BEI. We have evaluated our foundation model on a variety of applications, including sex prediction, human behavior recognition, and disease early diagnosis of Autism, Parkinson's disease, Alzheimer's disease, and {Schizophrenia}, where promising results indicate the great potential to facilitate current neuroimaging applications in clinical routines.