CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
作者: Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao
分类: cs.LG, q-bio.NC
发布日期: 2026-07-10
💡 一句话要点
提出CoCoT-EEG以优化EEG解码性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑电图解码 对比学习 多尺度卷积 Transformer 自监督学习
📋 核心要点
- 现有EEG解码模型在处理高噪声和信息局限性方面存在不足，导致解码性能不佳。
- 本文提出CoCoT模型，采用对比预训练策略，结合多尺度卷积和Transformer结构，以提高EEG解码的效果。
- 实验结果表明，CoCoT在多种基准任务中超越了现有模型，展示了其灵活性和数据效率。
📝 摘要（中文）
自监督预训练基础模型在非侵入性脑电图（EEG）解码应用中展现出早期潜力。然而，现有的大规模模型在处理高噪声幅度和信息局限于狭窄频带的EEG数据时表现不佳。为此，本文提出了一种新颖的对比预训练EEG模型CoCoT，结合多尺度时间卷积输入层和Transformer编码器块。CoCoT在多种电极配置的广泛基准解码任务中表现优于现有的重建预训练EEG模型，且从零开始训练的CoCoT在单任务解码模型中也表现出色，甚至与预训练模型相媲美。通过系统的消融实验，验证了对比学习在构建EEG基础模型中的可行性，并提出了关键的架构设计考虑。
🔬 方法详解
问题定义：本文旨在解决现有EEG解码模型在高噪声和信息局限性下的性能不足，尤其是传统重建预训练方法的局限性。
核心思路：提出CoCoT模型，通过对比预训练策略，结合多尺度卷积和Transformer编码器，旨在更有效地提取EEG信号中的信息。
技术框架：CoCoT的整体架构包括多尺度时间卷积输入层和Transformer编码器块，前者用于捕捉不同时间尺度的特征，后者用于建模长程依赖关系。
关键创新：CoCoT的主要创新在于采用对比学习作为预训练目标，显著提高了EEG解码的性能，与传统的重建预训练方法相比，展现出更好的适应性和效率。
关键设计：模型设计中采用了多尺度卷积层以增强特征提取能力，损失函数则基于对比学习，确保模型能够有效区分不同的EEG信号特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoCoT在多种基准解码任务中超越了现有的重建预训练EEG模型，且从零开始训练的CoCoT在单任务解码中表现优异，甚至与预训练模型相当，展示了其在EEG解码领域的强大潜力。
🎯 应用场景
该研究的潜在应用领域包括脑机接口、神经康复和精神健康监测等。通过提高EEG解码的准确性，CoCoT模型能够为临床诊断和个性化治疗提供更可靠的支持，未来可能推动EEG技术在医疗和人机交互中的广泛应用。
📄 摘要（原文）
Self-supervised pretrained foundation models (FM) have shown early promise for non-invasive electroencephalogram (EEG) decoding applications. Many recent large-scale models converged on the approach of tokenizing raw EEG followed by masked reconstruction pretraining. However, this recipe has been shown to be suboptimal for data, like EEG, with high noise amplitude and information confined to limited dimensions such as narrow frequency bands. Building on this insight, we develop a novel contrastive-pretrained EEG model with multiscale temporal convolution input layers and Transformer encoder blocks (CoCoT). CoCoT matches or beats state-of-the-art reconstruction-pretrained EEG models on extensive benchmark decoding tasks with heterogeneous electrode configurations. Furthermore, CoCoT trained from scratch outperforms previous single-task decoding models and even rivals pretrained models, showcasing the architecture's flexibility and data efficiency. Through systematic ablations, including model architecture and pretraining objective, we demonstrate the viability of contrastive learning for building EEG FMs while suggesting key architectural design considerations, prompting further investigations in alternative large-scale pretraining strategies.