Uni-NTFM: A Unified Foundation Model for EEG Signal Representation Learning

📄 arXiv: 2509.24222v1 📥 PDF

作者: Zhisheng Chen, Yingwei Zhang, Qizhen Lan, Tianyu Liu, Huacan Wang, Yi Ding, Ziyu Jia, Ronghao Chen, Kun Wang, Xinliang Zhou

分类: eess.SP, cs.AI, cs.LG

发布日期: 2025-09-29

💡 一句话要点

Uni-NTFM：用于脑电信号表征学习的统一神经拓扑基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 基础模型 表征学习 Transformer 拓扑嵌入

📋 核心要点

  1. 现有脑电基础模型忽略了脑电信号的时频特性差异，以及电极的空间拓扑结构。
  2. Uni-NTFM通过解耦时频域信息、拓扑嵌入和混合专家Transformer，提升表征能力。
  3. Uni-NTFM在九个下游任务中显著优于现有方法，证明了其通用表征学习能力。

📝 摘要（中文）

本文提出了一种统一神经拓扑基础模型（Uni-NTFM），旨在解决脑电图（EEG）信号的独特属性给现有基础模型带来的挑战。现有方法直接采用为文本或图像设计的架构，导致三个主要限制：混淆时域波形模式和频域节律特征；忽略不同电极标准下的空间拓扑结构；依赖于不灵活的密集网络处理功能不同的脑电模式。Uni-NTFM基于神经科学原理设计，集成了三个核心创新：解耦架构并行编码时间、频率和原始信号表征，然后进行跨域特征融合；拓扑嵌入机制统一不同国际标准的电极，并为大脑区域生成结构化输入序列；混合专家神经Transformer通过将信号模式路由到专用子网络来有效扩展模型容量。最大的模型Uni-NTFM$_{large}$拥有19亿参数，并在超过28000小时的多样化EEG数据上通过双域掩码重建目标进行预训练。在九个不同的下游任务中，Uni-NTFM在线性探测和微调设置下均显著优于现有的特定任务方法和基础模型，展示了学习大脑活动通用表征的卓越能力。

🔬 方法详解

问题定义：现有脑电基础模型直接采用为文本或图像设计的架构，无法有效处理脑电信号的时频特性、电极空间拓扑结构以及功能不同的脑电模式。这些局限性导致预训练效果不佳，阻碍了脑电信号表征学习的进展。

核心思路：Uni-NTFM的核心思路是基于神经科学原理，设计一个能够有效处理脑电信号独特属性的统一模型。通过解耦时频域信息、引入拓扑嵌入以及使用混合专家Transformer，模型能够更好地学习脑电信号的通用表征。

技术框架：Uni-NTFM的整体架构包含三个主要模块：1) 解耦编码器，并行处理时域、频域和原始信号；2) 拓扑嵌入模块，统一不同电极标准，生成结构化输入序列；3) 混合专家Transformer，通过路由机制将信号模式分配到专门的子网络。模型首先通过解耦编码器提取不同域的特征，然后利用拓扑嵌入模块整合电极空间信息，最后通过混合专家Transformer进行特征融合和表征学习。

关键创新：Uni-NTFM的关键创新在于其统一的架构设计，能够同时处理脑电信号的时域、频域和空间信息。解耦编码器避免了时频信息的混淆，拓扑嵌入模块解决了不同电极标准的问题，混合专家Transformer提高了模型的容量和效率。

关键设计：Uni-NTFM使用了双域掩码重建目标进行预训练，即同时掩盖时域和频域的信息，并要求模型重建。拓扑嵌入模块使用可学习的嵌入向量来表示不同的电极位置，并根据电极之间的空间关系构建输入序列。混合专家Transformer包含多个专家子网络，每个子网络负责处理特定的信号模式。模型参数量达到19亿，在超过28000小时的脑电数据上进行预训练。

🖼️ 关键图片

img_0

📊 实验亮点

Uni-NTFM在九个不同的下游任务中，包括癫痫检测、睡眠分期和运动想象等，均显著优于现有的特定任务方法和基础模型。在线性探测和微调设置下，Uni-NTFM都取得了最佳性能，证明了其学习通用脑电信号表征的卓越能力。例如，在癫痫检测任务中，Uni-NTFM的性能提升超过10%。

🎯 应用场景

Uni-NTFM在脑机接口、神经疾病诊断、认知状态监测等领域具有广泛的应用前景。通过学习通用的脑电信号表征，该模型可以用于各种下游任务，例如癫痫检测、睡眠分期、情绪识别等。该研究的成果有助于推动脑电信号处理技术的发展，为神经科学研究和临床应用提供更强大的工具。

📄 摘要（原文）

Foundation models pretrained on various and unlabeled data have demonstrated significant success in natural language and vision, but their application to electroencephalography (EEG) remains challenged due to the signal's unique properties. Existing brain foundation models that inherit architectures designed for text or images lead to three limitations in pre-training: 1) conflating time-domain waveform patterns with frequency-domain rhythmic features in a single processing stream, 2) ignoring the critical spatial topology of electrodes with different standards, and 3) reliance on the inflexible, dense network to process functionally distinct EEG patterns. To address these challenges, we introduce the Unified Neural Topological Foundation Model (Uni-NTFM), which is designed based on neuroscience principles to produce universal and interpretable representations. Uni-NTFM integrates three core innovations: 1) a decoupled architecture parallelly encodes time, frequency, and raw signal representations before performing cross-domain feature integration; 2) a topological embedding mechanism to unify electrodes from different international standards and generate structured input sequences for brain regions; and 3) a Mixture-of-Experts neural Transformer that efficiently scales model capacity by routing signal patterns to specialized subnetworks. The largest model, Uni-NTFM$_{large}$, has a record-breaking 1.9B parameters and was pretrained on over 28,000 hours of diverse EEG data via a dual-domain masked reconstruction objective. Uni-NTFM significantly outperforms existing task-specific methods and foundation models across nine distinct downstream tasks under both linear probing and fine-tuning settings, demonstrating a superior ability to learn universal representations of brain activity.