A Scaling Study for fMRI Foundation Models

📄 arXiv: 2609.27232v1 📥 PDF

作者: Wenhao Ye, Xuanye Pan, Junfeng Xia, Junxiang Zhang, Mo Wang, Quanying Liu

分类: cs.LG

发布日期: 2026-09-23

备注: 28 pages, 7 figures. Code: https://github.com/derrz2/neurojepa

💡 一句话要点

提出fMRI基础模型的扩展研究以优化数据与模型规模的关系

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: fMRI基础模型 扩展法则 预训练数据 模型规模 计算资源 下游任务性能 超出分布评估 医学影像分析

📋 核心要点

  1. 现有的fMRI基础模型在数据、模型规模与计算资源之间的关系尚不明确，导致性能优化困难。
  2. 通过控制实验，论文探讨了预训练数据规模、模型规模和训练时长对下游任务性能的影响，提出了数据与模型规模共同扩展的策略。
  3. 实验结果显示，在相同计算资源下，增加预训练数据对多任务的收益大于增加模型规模，优化后的模型在超出分布任务中表现最佳。

📝 摘要（中文）

扩展法则在计算机视觉和自然语言处理中的应用已较为成熟，但在功能性磁共振成像（fMRI）基础模型中，数据、模型规模与计算资源之间的关系仍不明确。本文通过对200多个源数据集和超过10,000 GPU小时的实验进行控制性实证研究，探讨了预训练数据规模、模型规模和训练时长的变化对下游性能的影响。结果表明，计算资源的增加通常会提升性能，但相似计算下模型表现差异显著。额外的预训练数据在较大模型规模下带来更大收益，建议数据与模型规模应共同扩展。最终，选定的模型在多个超出分布的任务中表现优异，且使用的预训练计算资源更少。

🔬 方法详解

问题定义：本文旨在解决fMRI基础模型中数据、模型规模与计算资源之间关系不明确的问题，现有方法在性能优化上存在不足。

核心思路：通过控制实验，系统地研究预训练数据规模、模型规模和训练时长对下游任务性能的影响，提出数据与模型规模应共同扩展的策略。

技术框架：研究采用固定的预训练框架和下游协议，系统地改变预训练数据规模、模型规模和训练时长，评估其对性能的影响。主要模块包括数据集选择、模型训练和下游任务评估。

关键创新：论文的创新在于揭示了在相同计算资源下，增加预训练数据对多任务的收益大于增加模型规模，这一发现与现有方法的理解存在本质区别。

关键设计：在实验中，选择了200多个源数据集，使用超过10,000 GPU小时进行训练，确保了实验的全面性和可靠性。模型在超出分布任务中的评估采用了锁定模型的方式，以确保结果的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在相同计算资源下，增加预训练数据的模型在多个超出分布任务中表现优异，平均性能超越了其他对比的fMRI基础模型，且使用的预训练计算资源更少，显示出显著的性能提升。

🎯 应用场景

该研究为fMRI基础模型的优化提供了新的视角，具有广泛的应用潜力，尤其在医学影像分析、脑科学研究和临床诊断中，能够提升模型的性能和效率。未来，研究结果可为其他领域的基础模型开发提供参考，推动跨领域的技术进步。

📄 摘要（原文）

Scaling laws have guided large-model development in computer vision and natural language processing, but the relationships among data, model size, and compute remain unclear for functional magnetic resonance imaging (fMRI) foundation models. Here, we conduct a controlled empirical study using pretraining data from more than 200 source datasets and over 10,000 GPU-hours of experiments. Holding the pretraining framework and downstream protocol fixed, we vary pretraining data size, model size, and training duration. Downstream performance generally improves with compute, yet models using similar compute can perform substantially differently. Additional pretraining data bring larger gains at larger model sizes, suggesting that data and model size should be scaled together. At matched compute, increasing pretraining data benefits more tasks than increasing model size, although the pattern varies across tasks. We then use in-distribution (ID) downstream performance to select the combination of pretraining data size, model size, and training duration at two fixed compute budgets. The resulting models are locked before out-of-distribution (OOD) evaluation. They achieve the highest average performance across the evaluated OOD tasks among the compared fMRI foundation models while using less pretraining compute. Overall, our results show that compute alone does not characterize fMRI scaling: performance depends on how pretraining data, model size, and training duration are combined.