LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling
作者: Danaé Broustail, Anna Tegon, Thorir Mar Ingolfsson, Yawei Li, Luca Benini
分类: cs.AI
发布日期: 2026-03-19
备注: 5 pages, 2 figures, 4 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出LuMamba以解决EEG建模中的电极拓扑不变性与计算效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑电图 自监督学习 拓扑不变性 状态空间建模 深度学习 生物信号处理 阿尔茨海默病检测
📋 核心要点
- EEG建模面临电极拓扑差异和计算复杂度高的挑战，现有Transformer架构的序列复杂度为平方级别。
- LuMamba通过自监督学习结合拓扑不变编码和线性复杂度的状态空间建模，提供了一种新的解决方案。
- 在预训练后，LuMamba在多项任务中表现出80.99%的平衡准确率，并在阿尔茨海默病检测中达到0.97的AUPR，且计算效率显著提升。
📝 摘要（中文）
脑电图（EEG）能够非侵入性地监测大脑活动，但由于电极拓扑的差异和计算可扩展性，构建EEG的基础模型仍然具有挑战性。为此，本文提出了LuMamba（潜在统一Mamba），一个自监督框架，结合了拓扑不变编码与线性复杂度的状态空间建模。该框架利用LUNA的学习查询交叉注意机制进行通道统一，并采用FEMBA的双向Mamba块进行高效的时间建模。经过对超过21,000小时的未标记EEG数据进行预训练，LuMamba在五个下游任务上进行了评估，展现出优异的性能。
🔬 方法详解
问题定义：本文旨在解决EEG建模中由于电极拓扑差异导致的模型构建困难，以及现有方法在计算效率上的不足。现有的Transformer架构在处理EEG数据时，序列复杂度为平方级别，限制了其可扩展性。
核心思路：LuMamba框架结合了拓扑不变编码与线性复杂度的状态空间建模，利用自监督学习的方式来提升模型的泛化能力和计算效率。通过引入LUNA的学习查询交叉注意机制和FEMBA的双向Mamba块，LuMamba实现了通道统一和高效的时间建模。
技术框架：LuMamba的整体架构包括两个主要模块：拓扑不变编码模块和状态空间建模模块。前者负责处理不同电极配置下的EEG信号，后者则通过线性复杂度的建模方式提升计算效率。
关键创新：LuMamba的最大创新在于首次系统性地研究了潜在-欧几里得联合嵌入预测架构（LeJEPA），为生物信号学习提供了新的视角。与现有方法相比，LuMamba在参数数量和计算效率上均有显著优势。
关键设计：LuMamba仅使用4.6M参数，采用了掩蔽重建和LeJEPA的组合目标，优化了模型的表现。实验表明，结合这两种目标能够实现更强的鲁棒性。
🖼️ 关键图片
📊 实验亮点
LuMamba在TUAB数据集上实现了80.99%的平衡准确率，并在阿尔茨海默病检测中达到了0.97的AUPR。与现有模型相比，LuMamba在相同序列长度下的计算需求减少了377倍，并且能够扩展到12倍更长的序列，显示出显著的性能提升。
🎯 应用场景
LuMamba在EEG信号处理中的应用潜力巨大，能够用于临床异常检测、伪影识别和心理状态分类等多个领域。其高效的计算性能和拓扑不变性使其在实际应用中更具可行性，未来可望推动脑机接口和神经技术的发展。
📄 摘要（原文）
Electroencephalography (EEG) enables non-invasive monitoring of brain activity across clinical and neurotechnology applications, yet building foundation models for EEG remains challenging due to \emph{differing electrode topologies} and \emph{computational scalability}, as Transformer architectures incur quadratic sequence complexity. As a joint solution, we propose \textbf{LuMamba} (\textbf{L}atent \textbf{U}nified \textbf{Mamba}), a self-supervised framework combining topology-invariant encodings with linear-complexity state-space modeling, using LUNA's learned-query cross-attention mechanism for channel unification~\cite{luna}, and FEMBA's bidirectional Mamba blocks for efficient temporal modeling~\cite{femba}. Within this architecture, we provide the first systematic investigation of the Latent-Euclidean Joint-Embedding Predictive Architecture (LeJEPA) for biosignal learning. Pre-trained on over 21,000 hours of unlabeled EEG from the TUEG corpus, LuMamba is evaluated on five downstream tasks spanning abnormality detection, artifact recognition, and mental condition classification across electrode configurations ranging from 16 to 26 channels. In the pre-training objective, masked reconstruction alone yields structured but less generalizable representations, while LeJEPA alone produces diffuse embeddings; combining both objectives achieves the most robust performance. With only 4.6M parameters, LuMamba attains 80.99\% balanced accuracy on TUAB and achieves state-of-art performance on Alzheimer's detection (0.97 AUPR), while requiring \textbf{377$\times$ fewer FLOPS} than state-of-art models at equivalent sequence lengths and scaling to \textbf{12$\times$ longer sequences} before reaching typical GPU memory limits. Code is available at https://github.com/pulp-bio/biofoundation