Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG

📄 arXiv: 2602.23410v1 📥 PDF

作者: Hanning Guo, Farah Abdellatif, Hanwen Bi, Andrei Galbenus, Jon. N. Shah, Abigail Morrison, Jürgen Dammers

分类: cs.LG, cs.AI, eess.SP, q-bio.NC

发布日期: 2026-02-26

💡 一句话要点

提出Brain-OF，首个用于fMRI、EEG和MEG的通用脑功能基础模型

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑功能基础模型 多模态融合 fMRI EEG MEG 预训练 时频分析

📋 核心要点

  1. 现有脑功能基础模型局限于单一模态，无法有效利用不同脑成像技术间的互补信息和大规模数据。
  2. Brain-OF通过联合预训练fMRI、EEG和MEG数据，并引入Any-Resolution采样器，实现跨模态的统一处理。
  3. Brain-OF在包含40个数据集的大规模语料库上预训练，并在多种下游任务中表现出优越性能。

📝 摘要（中文）

脑功能基础模型在神经科学任务中取得了显著进展。然而，现有模型大多局限于单一功能模态，限制了其利用互补时空动态和跨成像技术的数据规模的能力。为了解决这一局限性，我们提出了Brain-OF，这是第一个联合在fMRI、EEG和MEG上预训练的通用脑功能基础模型，能够在统一框架内处理单模态和多模态输入。为了协调异构的时空分辨率，我们引入了Any-Resolution Neural Signal Sampler，将不同的脑信号投影到共享的语义空间中。为了进一步管理语义偏移，Brain-OF骨干网络集成了DINT注意力机制和稀疏混合专家网络，其中共享专家捕获模态不变的表示，路由专家专注于模态特定的语义。此外，我们提出了掩码时频建模，这是一种在时域和频域中联合重建脑信号的双域预训练目标。Brain-OF在大规模语料库（包含约40个数据集）上进行预训练，并在各种下游任务中表现出卓越的性能，突出了联合多模态集成和双域预训练的优势。

🔬 方法详解

问题定义：现有脑功能基础模型通常针对单一脑成像模态（如fMRI、EEG或MEG）设计，无法有效整合不同模态的信息。这限制了模型对大脑活动的全面理解，也无法充分利用不同模态数据之间的互补性。此外，不同模态的数据具有不同的时空分辨率和语义信息，直接融合会带来挑战。

核心思路：Brain-OF的核心思路是构建一个能够处理多种脑成像模态的通用基础模型。通过联合预训练，模型可以学习到跨模态的共享表示，从而更好地理解大脑活动。为了解决不同模态数据之间的异构性，论文提出了Any-Resolution Neural Signal Sampler，将不同分辨率的信号投影到统一的语义空间。

技术框架：Brain-OF的整体框架包括以下几个主要模块：1) Any-Resolution Neural Signal Sampler：用于将不同模态的脑信号（fMRI、EEG、MEG）转换为统一的表示。2) Backbone网络：采用DINT注意力机制和稀疏混合专家网络（Sparse Mixture of Experts, MoE）。DINT注意力用于捕获信号的时空依赖关系，MoE则用于处理模态特定的语义信息。3) 预训练目标：采用Masked Temporal-Frequency Modeling，在时域和频域上联合重建脑信号。

关键创新：Brain-OF的关键创新在于：1) 它是首个能够处理多种脑成像模态的通用基础模型。2) 提出了Any-Resolution Neural Signal Sampler，解决了不同模态数据分辨率不同的问题。3) 采用了DINT注意力机制和稀疏混合专家网络，能够有效捕获模态不变和模态特定的信息。4) 提出了Masked Temporal-Frequency Modeling，在时域和频域上联合进行预训练。

关键设计：Any-Resolution Neural Signal Sampler的具体实现细节未知，但其目标是将不同分辨率的脑信号映射到统一的语义空间。DINT注意力机制的具体参数设置未知，但其核心思想是在不同尺度上捕获信号的依赖关系。稀疏混合专家网络包含共享专家和路由专家，共享专家用于学习模态不变的表示，路由专家则根据输入模态的不同，学习模态特定的表示。Masked Temporal-Frequency Modeling的具体实现方式未知，但其目标是在时域和频域上联合重建被掩盖的脑信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Brain-OF在多个下游任务中取得了显著的性能提升，证明了联合多模态集成和双域预训练的有效性。具体性能数据未知，但论文强调Brain-OF在各种任务中均优于现有的单模态模型。通过在大规模数据集上进行预训练，Brain-OF能够学习到更通用的脑活动表示，从而在各种下游任务中表现出色。

🎯 应用场景

Brain-OF具有广泛的应用前景，可用于脑疾病诊断、认知功能评估、脑机接口等领域。通过整合多种脑成像模态的信息，Brain-OF可以更准确地理解大脑活动，从而为临床应用提供更可靠的依据。未来，Brain-OF可以进一步扩展到其他脑成像模态，并与其他类型的生物数据进行整合，从而构建更强大的脑功能基础模型。

📄 摘要（原文）

Brain foundation models have achieved remarkable advances across a wide range of neuroscience tasks. However, most existing models are limited to a single functional modality, restricting their ability to exploit complementary spatiotemporal dynamics and the collective data scale across imaging techniques. To address this limitation, we propose Brain-OF, the first omnifunctional brain foundation model jointly pretrained on fMRI, EEG and MEG, capable of handling both unimodal and multimodal inputs within a unified framework. To reconcile heterogeneous spatiotemporal resolutions, we introduce the Any-Resolution Neural Signal Sampler, which projects diverse brain signals into a shared semantic space.To further manage semantic shifts, the Brain-OF backbone integrates DINT attention with a Sparse Mixture of Experts, where shared experts capture modality-invariant representations and routed experts specialize in modality-specific semantics. Furthermore, we propose Masked Temporal-Frequency Modeling, a dual-domain pretraining objective that jointly reconstructs brain signals in both the time and frequency domains. Brain-OF is pretrained on a large-scale corpus comprising around 40 datasets and demonstrates superior performance across diverse downstream tasks, highlighting the benefits of joint multimodal integration and dual-domain pretraining.