GEFM: Graph-Enhanced EEG Foundation Model

📄 arXiv: 2411.19507v3 📥 PDF

作者: Limin Wang, Toyotaro Suzumura, Hiroki Kanezashi

分类: cs.LG, eess.SP

发布日期: 2024-11-29 (更新: 2025-02-22)

💡 一句话要点

提出GEFM图增强脑电基础模型，融合时序与通道关系提升脑电分析性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 基础模型 图神经网络 自监督学习 预训练 脑机接口 通道间关系

📋 核心要点

  1. 现有脑电基础模型主要关注时序信息，忽略了重要的通道间关系，限制了模型性能。
  2. GEFM通过结合图神经网络和掩码自动编码器，同时学习脑电信号的时序动态和通道间关系。
  3. 实验结果表明，GEFM在多个下游任务中优于现有方法，证明了其作为脑电分析基础模型的有效性。

📝 摘要（中文）

脑电图(EEG)信号为疾病诊断和医疗保健应用提供了关键见解。然而，标记的脑电数据稀缺构成了一个重大挑战。基础模型通过利用大规模未标记数据进行预训练提供了一个有希望的解决方案，从而能够在各种任务中实现强大的性能。虽然时间动态和通道间关系对于理解脑电信号至关重要，但现有的脑电基础模型主要关注前者，而忽略了后者。为了解决这个局限性，我们提出了图增强脑电基础模型(GEFM)，这是一种新颖的脑电基础模型，它集成了时间和通道间信息。我们的架构结合了图神经网络(GNN)，它可以有效地捕获关系结构，以及一个掩码自动编码器，以实现高效的预训练。我们使用三个下游任务评估了我们的方法，并试验了各种GNN架构。结果表明，我们提出的模型，特别是在采用具有优化配置的GCN架构时，在所有任务中始终优于基线方法。这些发现表明，我们的模型可以作为脑电分析的强大基础模型。

🔬 方法详解

问题定义：脑电信号分析在疾病诊断和医疗保健领域具有重要应用，但标注数据的稀缺性限制了模型性能。现有脑电基础模型主要关注时序信息，忽略了通道间的空间关系，无法充分利用脑电信号的内在结构。

核心思路：GEFM的核心思路是将图神经网络（GNN）引入脑电基础模型，利用GNN强大的关系建模能力，显式地学习脑电通道间的依赖关系。同时，采用掩码自编码器（MAE）进行预训练，从而能够从大规模无标签数据中学习通用的脑电特征表示。

技术框架：GEFM的整体架构包含两个主要阶段：预训练阶段和下游任务微调阶段。在预训练阶段，首先使用掩码策略随机遮蔽部分脑电通道的数据，然后将未遮蔽的数据输入到由GNN和Transformer组成的编码器中，学习脑电信号的潜在表示。解码器则根据编码器的输出重建被遮蔽的脑电信号。在下游任务微调阶段，将预训练好的GEFM模型迁移到具体的脑电分析任务中，并使用少量标注数据进行微调。

关键创新：GEFM的关键创新在于将图神经网络引入脑电基础模型，从而能够同时学习脑电信号的时序动态和通道间关系。与现有方法相比，GEFM能够更全面地捕捉脑电信号的内在结构，从而提高模型性能。

关键设计：GEFM采用了GCN作为主要的GNN架构，并优化了GCN的层数和隐藏层维度等参数。损失函数包括重建损失和对比学习损失，其中重建损失用于约束解码器的输出与原始脑电信号之间的差异，对比学习损失用于增强模型学习到的脑电特征的区分性。掩码比例设置为50%，Transformer编码器的层数为6层。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，GEFM在三个下游任务中均优于基线方法。例如，在使用GCN架构的GEFM模型在癫痫检测任务中，相比于传统方法，准确率提升了5%以上。此外，实验还验证了不同GNN架构对GEFM性能的影响，结果表明GCN架构在脑电信号分析中表现最佳。

🎯 应用场景

GEFM作为脑电基础模型，可广泛应用于多种脑电分析任务，如癫痫检测、睡眠分期、运动想象解码等。通过预训练学习到的通用脑电特征表示，可以有效提升下游任务的性能，尤其是在标注数据稀缺的情况下。该研究有望推动脑机接口技术的发展，为神经系统疾病的诊断和治疗提供新的手段。

📄 摘要（原文）

Electroencephalography (EEG) signals provide critical insights for applications in disease diagnosis and healthcare. However, the scarcity of labeled EEG data poses a significant challenge. Foundation models offer a promising solution by leveraging large-scale unlabeled data through pre-training, enabling strong performance across diverse tasks. While both temporal dynamics and inter-channel relationships are vital for understanding EEG signals, existing EEG foundation models primarily focus on the former, overlooking the latter. To address this limitation, we propose Graph-Enhanced EEG Foundation Model (GEFM), a novel foundation model for EEG that integrates both temporal and inter-channel information. Our architecture combines Graph Neural Networks (GNNs), which effectively capture relational structures, with a masked autoencoder to enable efficient pre-training. We evaluated our approach using three downstream tasks and experimented with various GNN architectures. The results demonstrate that our proposed model, particularly when employing the GCN architecture with optimized configurations, consistently outperformed baseline methods across all tasks. These findings suggest that our model serves as a robust foundation model for EEG analysis.