ALFEE: Adaptive Large Foundation Model for EEG Representation

📄 arXiv: 2505.06291v1 📥 PDF

作者: Wei Xiong, Junming Lin, Jiangtong Li, Jie Li, Changjun Jiang

分类: eess.SP, cs.CE, cs.HC, cs.LG

发布日期: 2025-05-07

备注: 17pages, 17 figures

🔗 代码/项目: GITHUB

💡 一句话要点

ALFEE：用于脑电信号表征的自适应大规模预训练模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电信号 预训练模型 Transformer 混合注意力 多任务学习

📋 核心要点

  1. 现有脑电信号处理方法泛化性差，受限于低信噪比、个体差异和跨范式差异，且预训练与下游任务存在领域鸿沟。
  2. ALFEE框架提出混合Transformer架构，分离通道特征聚合与时间动态建模，增强多尺度和多通道表征，提升模型鲁棒性。
  3. ALFEE在六个下游脑电任务上表现优于现有模型，经过25,000小时预训练，验证了其在生物信号分析中的有效性。

📝 摘要（中文）

尽管预训练模型在文本、图像和视频领域表现出色，但关键的生物信号，特别是脑电图(EEG)，仍未得到充分探索。脑电图以其高时间分辨率、操作实用性和安全性，有益于神经学研究。然而，低信噪比、个体间差异和跨范式差异阻碍了当前模型的泛化。现有方法通常采用简化的策略，例如单一损失函数或通道-时间联合表示模块，并且预训练和评估任务之间存在领域差距，从而影响效率和适应性。为了解决这些限制，我们提出了用于脑电信号表征的自适应大规模预训练模型(ALFEE)框架，这是一种新颖的混合Transformer架构，具有两个学习阶段，用于鲁棒的脑电表征学习。ALFEE采用混合注意力机制，将通道特征聚合与时间动态建模分离，从而实现具有可变通道配置的鲁棒脑电表征。通道编码器自适应地压缩可变通道信息，时间编码器捕获任务引导的演变，混合解码器重建时域和频域信号。在预训练期间，ALFEE优化任务预测、通道和时间掩码重建以及时间预测，以增强多尺度和多通道表征。在微调期间，使用特定于任务的token字典和交叉注意力层的完整模型自适应提高了跨多个任务的性能。经过25,000小时的预训练后，在六个下游脑电任务上的大量实验结果表明，ALFEE优于现有模型。我们的ALFEE框架为生物信号分析建立了一个可扩展的基础，实现代码位于https://github.com/xw1216/ALFEE。

🔬 方法详解

问题定义：现有脑电信号处理方法在处理低信噪比、个体差异和跨范式差异的脑电数据时，泛化能力不足。现有方法通常采用单一损失函数或简单的通道-时间联合表示，忽略了脑电信号复杂的时空特性，并且预训练和下游任务之间存在较大的领域差距，导致模型在实际应用中效果不佳。

核心思路：ALFEE的核心思路是构建一个自适应的大规模预训练模型，通过混合Transformer架构，将通道特征聚合与时间动态建模分离，从而更有效地捕捉脑电信号的时空信息。通过多任务预训练，增强模型对脑电信号多尺度和多通道表征能力，并通过微调适应不同的下游任务。

技术框架：ALFEE框架包含两个主要阶段：预训练和微调。在预训练阶段，ALFEE使用混合Transformer架构，包括通道编码器、时间编码器和混合解码器。通道编码器用于自适应地压缩可变通道信息，时间编码器用于捕获任务引导的时间演变，混合解码器用于重建时域和频域信号。在微调阶段，ALFEE采用全模型自适应，并引入特定于任务的token字典和交叉注意力层，以提高在不同下游任务上的性能。

关键创新：ALFEE的关键创新在于其混合Transformer架构和多任务预训练策略。混合Transformer架构能够有效地分离通道特征聚合与时间动态建模，从而更好地捕捉脑电信号的时空信息。多任务预训练策略通过优化任务预测、通道和时间掩码重建以及时间预测，增强模型对脑电信号多尺度和多通道表征能力。

关键设计：ALFEE的关键设计包括：1) 混合注意力机制，用于分离通道特征聚合与时间动态建模；2) 通道编码器，用于自适应地压缩可变通道信息；3) 时间编码器，用于捕获任务引导的时间演变；4) 混合解码器，用于重建时域和频域信号；5) 多任务预训练策略，包括任务预测、通道和时间掩码重建以及时间预测；6) 特定于任务的token字典和交叉注意力层，用于微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ALFEE在六个下游脑电任务上取得了显著的性能提升，证明了其优越性。具体而言，ALFEE在各项任务上均优于现有模型，展现了其强大的泛化能力和适应性。经过25,000小时的预训练，ALFEE能够有效地捕捉脑电信号的时空信息，并为生物信号分析建立了一个可扩展的基础。

🎯 应用场景

ALFEE框架具有广泛的应用前景，可用于脑机接口、神经疾病诊断、认知状态监测等领域。通过对脑电信号进行更准确和鲁棒的表征，ALFEE可以提高脑机接口的控制精度和效率，辅助医生进行神经疾病的早期诊断，并实现对个体认知状态的实时监测，从而改善人类健康和生活质量。

📄 摘要（原文）

While foundation models excel in text, image, and video domains, the critical biological signals, particularly electroencephalography(EEG), remain underexplored. EEG benefits neurological research with its high temporal resolution, operational practicality, and safety profile. However, low signal-to-noise ratio, inter-subject variability, and cross-paradigm differences hinder the generalization of current models. Existing methods often employ simplified strategies, such as a single loss function or a channel-temporal joint representation module, and suffer from a domain gap between pretraining and evaluation tasks that compromises efficiency and adaptability. To address these limitations, we propose the Adaptive Large Foundation model for EEG signal representation(ALFEE) framework, a novel hybrid transformer architecture with two learning stages for robust EEG representation learning. ALFEE employs a hybrid attention that separates channel-wise feature aggregation from temporal dynamics modeling, enabling robust EEG representation with variable channel configurations. A channel encoder adaptively compresses variable channel information, a temporal encoder captures task-guided evolution, and a hybrid decoder reconstructs signals in both temporal and frequency domains. During pretraining, ALFEE optimizes task prediction, channel and temporal mask reconstruction, and temporal forecasting to enhance multi-scale and multi-channel representation. During fine-tuning, a full-model adaptation with a task-specific token dictionary and a cross-attention layer boosts performance across multiple tasks. After 25,000 hours of pretraining, extensive experimental results on six downstream EEG tasks demonstrate the superior performance of ALFEE over existing models. Our ALFEE framework establishes a scalable foundation for biological signal analysis with implementation at https://github.com/xw1216/ALFEE.