Multimodal Pretraining for Generalizable EEG Representation Learning

📄 arXiv: 2607.21384v1 📥 PDF

作者: Targol Bakhtiarvand, Jugal Kalita, Adham Atyabi

分类: cs.AI

发布日期: 2026-07-23

💡 一句话要点

提出多模态预训练模型以解决EEG表征学习的泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 多模态学习 自监督学习 癫痫检测 模型泛化 视觉变换器 信号处理

📋 核心要点

  1. 现有EEG模型通常局限于特定数据集和任务，难以在不同场景中应用，限制了其泛化能力。
  2. 本研究提出了一种多模态EEG基础模型，结合多种编码器和创新的预训练技术，以增强模型的适应性和表征能力。
  3. 在CHB-MIT基准上，最佳单模型AUROC达到0.874，集成模型达到0.878，且在患者独立检测中表现出良好的鲁棒性。

📝 摘要（中文）

本研究针对现有的脑电图（EEG）模型在特定数据集和任务上的局限性，提出了一种多模态EEG基础模型。该模型结合了基于Mamba架构的原始信号编码器、用于时频数据的视觉变换器（ViT）风格编码器以及轻量级文本编码器，所有模块共享嵌入空间。预训练过程中采用了多种创新技术，如掩蔽建模、跨视图对比对齐和时间一致性损失，旨在生成丰富的与癫痫相关的表征，而无需标注数据。通过在CHB-MIT癫痫检测基准和其他数据集上进行微调，实验结果显示最佳单模型在标准CHB-MIT拆分上达到了0.874的AUROC，集成模型则达到了0.878，展现了该模型的先进性能。

🔬 方法详解

问题定义：本研究旨在解决现有EEG模型在特定数据集和任务上的局限性，导致模型在不同场景下的应用困难。现有方法往往缺乏泛化能力，无法有效应对多样化的癫痫检测任务。

核心思路：本研究提出的多模态EEG基础模型通过结合多种编码器（原始信号、时频数据和文本），在共享嵌入空间中进行预训练，以实现对多种EEG相关任务的适应性。通过自监督学习和创新的预训练技术，模型能够生成丰富的癫痫相关表征。

技术框架：整体架构包括三个主要模块：原始信号编码器（基于Mamba架构）、时频数据编码器（ViT风格）和轻量级文本编码器。预训练过程采用掩蔽建模、跨视图对比对齐和时间一致性损失等技术，旨在提升模型的表征能力。

关键创新：本研究的主要创新在于提出了一种多模态的预训练框架，能够在无标注数据的情况下生成有效的EEG表征，显著提升了模型的泛化能力和适应性。与现有方法相比，该框架在处理多样化癫痫检测任务时表现出更强的鲁棒性。

关键设计：在模型设计中，采用了多种损失函数以增强模型的学习效果，包括掩蔽建模损失、对比损失和时间一致性损失。此外，网络结构的选择和参数设置经过精心调整，以确保模型在不同数据集上的性能最优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CHB-MIT基准上，最佳单模型AUROC达到了0.874，集成模型则达到了0.878，均为当前最先进的性能。此外，在患者独立检测的LOSO协议下，模型表现出良好的鲁棒性，平均平衡准确率为0.558，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的多模态EEG基础模型具有广泛的应用潜力，尤其在癫痫检测、脑机接口和神经科学研究等领域。通过提高模型的泛化能力和适应性，该模型能够支持不同数据集和任务的快速迁移，推动相关技术的实际应用和发展。

📄 摘要（原文）

Electroencephalography (EEG) models used for epilepsy are often limited to specific datasets and tasks. This limited approach can make it challenging to apply these models across different datasets or in various situations. However, recent studies in foundation models and self-supervised learning suggest that an adaptable EEG backbone could support a range of EEG related tasks. In this study, we have developed a multimodal EEG foundation model that combines a raw signal encoder based on the Mamba architecture, a Vision Transformer (ViT)-style encoder for time-frequency data, and a lightweight encoder for text, all within a shared embedding space. The pretraining process relies on several innovative techniques, such as masked modeling, cross-view contrastive alignment, and temporal consistency losses. These methods are designed to create rich, seizure-relevant representations without requiring labeled data. To assess the efficacy and generalization of our pretrained model, we fine-tuned it on the canonical CHB-MIT seizure detection benchmark and additional seizure detection datasets, and conducted extensive experiments comparing different model variants. On the standard CHB-MIT split, our best single model achieved an AUROC of 0.874, and an ensemble variant reached 0.878 AUROC, representing state-of-the-art performance on this benchmark. In addition to standard train-test splits, we evaluated performance under a leave-one-subject-out (LOSO) protocol, which is rarely reported in prior EEG seizure modeling work and highlights the difficulty of patient-independent seizure detection, with a mean LOSO balanced accuracy of 0.558 across 19 subjects. Across datasets and evaluation settings, our multimodal foundation model enabled robust seizure detection and straightforward adaptation to new seizure detection scenarios, while also supporting interpretable seizure localization.