BrainTaskonomy: Learning How to Pretrain and What to Transfer in fMRI Foundation Models

📄 arXiv: 2609.10518v1 📥 PDF

作者: Junfeng Xia, Wenhao Ye, Junxiang Zhang, Jiayu Zuo, Mo Wang, Quanying Liu

分类: cs.CV, q-bio.NC

发布日期: 2026-09-09

💡 一句话要点

提出BrainTaskonomy以优化fMRI预训练和任务迁移

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: fMRI模型 迁移学习 任务适应 领域课程 脑功能研究

📋 核心要点

  1. 现有fMRI模型在预训练和任务迁移中常将领域和任务视为独立的平坦集合，导致学习效率低下。
  2. 论文提出了Brain-DiT代理，通过测量学习关系优化预训练和适应阶段，形成优先级引导的领域课程。
  3. 实验结果显示，采用新方法后，v-NMSE、PSD-NMSE和FC-MSE分别降低了6.5%、16.3%和10.5%，并在多任务中表现优异。

📝 摘要（中文）

随着fMRI基础模型逐渐整合来自不同脑状态、群体和采集设置的异构数据，预训练领域通常被视为平坦的混合体，而下游任务则独立适应。本文研究了如何通过测量学习关系来组织这两个阶段，而无需修改模型主干。在预训练阶段，轻量级的Brain-DiT代理估计了十个fMRI领域的难度和有向促进，形成了优先级引导的累积领域课程，结合高到低噪声的时间步调度和联合巩固。在适应阶段，通过控制的一阶和高阶迁移构建了有向任务体系，从中预算整数规划选择直接监督的源任务和目标特定路径。实验结果表明，联合优先领域和高到低时间步课程在多个指标上显著降低了误差，并在六个领域内外的任务中表现出强大的下游性能。

🔬 方法详解

问题定义：本文旨在解决fMRI基础模型在预训练和任务迁移阶段的低效问题，现有方法未能有效利用领域间的学习关系，导致性能下降。

核心思路：通过引入Brain-DiT代理，估计不同领域的难度和促进关系，形成优先级引导的领域课程，从而优化预训练和任务适应过程。

技术框架：整体流程包括预训练阶段和适应阶段。在预训练阶段，使用Brain-DiT代理进行领域难度评估，并结合高到低噪声的时间步调度；在适应阶段，通过控制迁移构建有向任务体系。

关键创新：最重要的创新在于通过测量学习关系组织预训练和适应过程，而非将领域和任务视为独立的集合，这一方法显著提高了模型的迁移能力。

关键设计：在参数设置上，采用了优先级引导的累积领域课程，损失函数设计上考虑了任务间的有向迁移，网络结构则保持了主干不变，确保了模型的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用BrainTaskonomy方法后，v-NMSE、PSD-NMSE和FC-MSE分别降低了6.5%、16.3%和10.5%，相较于均匀采样方法，展现出在六个领域内外任务中的强大下游性能，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括神经科学研究、临床诊断和个性化医疗。通过优化fMRI数据的预训练和任务迁移，可以提高对脑功能的理解，促进疾病早期诊断和治疗方案的制定，具有重要的实际价值和未来影响。

📄 摘要（原文）

fMRI foundation models increasingly aggregate heterogeneous data across brain states, cohorts, and acquisition settings, yet pretraining domains are commonly treated as a flat mixture and downstream tasks are adapted independently. We study whether measured learning relations can organize both stages without modifying the backbone. During pretraining, a lightweight Brain-DiT proxy estimates difficulty and directed facilitation across ten fMRI domains, yielding a priority-guided cumulative domain curriculum combined with high-to-low-noise timestep scheduling and joint consolidation. During adaptation, controlled first- and higher-order transfer across fifteen tasks constructs a directed taskonomy, from which budgeted integer programming (BIP) selects directly supervised source tasks and target-specific routes. The joint priority-domain and high-to-low-timestep curriculum reduces v-NMSE, PSD-NMSE, and FC-MSE by 6.5%, 16.3%, and 10.5%, respectively, relative to uniform sampling over both dimensions, and shows strong downstream performance across six in- and out-of-domain tasks. The taskonomy reveals asymmetric, target-dependent transfer, while exploratory sealed-test evaluation shows larger descriptive gains for BIP policies when higher-order route spaces are available than for matched random controls. Together, these findings support organizing fMRI pretraining and adaptation by measured learning relations rather than treating domains and tasks as independent flat sets.