BrainCodes: A Lightweight EEG Foundation Model over Discrete Neural Codes

📄 arXiv: 2610.29320v1 📥 PDF

作者: Kleanthis Avramidis, Ivan Tashev, Dimitra Emmanouilidou

分类: cs.LG, cs.NE

发布日期: 2026-10-21

备注: Preprint. Under review

💡 一句话要点

提出BrainCodes以解决EEG模型在资源受限设备上的应用问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图 轻量级模型 自监督学习 神经生理监测 可穿戴设备 空间连接性 窄带神经振荡

📋 核心要点

  1. 现有EEG基础模型往往规模庞大，限制了其在资源受限设备上的部署和应用。
  2. 提出BrainCodes，一个轻量级的EEG基础模型，通过自监督学习在大量数据上进行预训练，旨在学习可转移的EEG特征。
  3. 实验结果表明，BrainCodes在多种神经生理监测任务中表现优异，且在可穿戴设备上有效迁移，参数量显著减少。

📝 摘要（中文）

近年来，脑电图（EEG）基础模型越来越强调模型规模，这可能限制其在资源受限设备和日常环境中的应用。我们认为，可转移的EEG特征可以通过紧凑的架构学习，并提出了BrainCodes，这是一种轻量级的基础模型，通过自监督学习在超过1000名参与者的800小时录音上进行预训练。我们的架构结合了基于量化的神经标记器和支持任意电极配置的时空编码器。预训练目标明确鼓励捕捉空间连接性的表示，并通过辅助训练目标对窄带神经振荡的敏感性进行优化。我们的模型在多种神经生理监测任务中匹配或超越了现有技术，包括睡眠分期、注意力评估和认知负荷估计。BrainCodes有效地迁移到低资源可穿戴设备上，同时使用的可训练参数比可比架构少97%。

🔬 方法详解

问题定义：本论文旨在解决现有EEG基础模型在资源受限设备上的应用问题，现有方法往往需要大量计算资源和存储空间，限制了其实际应用。

核心思路：论文提出了BrainCodes，一个轻量级的EEG基础模型，通过自监督学习从大量EEG数据中提取可转移特征，旨在减少模型规模而不牺牲性能。

技术框架：BrainCodes的整体架构包括一个基于量化的神经标记器和一个支持任意电极配置的时空编码器。模型通过预训练目标和辅助训练目标共同优化，以捕捉空间连接性和对窄带神经振荡的敏感性。

关键创新：BrainCodes的主要创新在于其紧凑的架构设计，能够在使用97%更少的可训练参数的情况下，匹配或超越现有技术的性能。

关键设计：模型采用了通道位置编码来增强空间连接性的表示，同时引入辅助训练目标以提高对特定神经振荡的敏感性，确保模型在多种任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BrainCodes在睡眠分期、注意力评估和认知负荷估计等任务中，性能超过了现有的最先进模型，且在可穿戴设备上有效迁移，使用的可训练参数减少了97%。

🎯 应用场景

BrainCodes的潜在应用场景包括可穿戴设备中的脑电监测、睡眠质量评估、注意力和认知负荷的实时评估等。这些应用能够在日常生活中提供更智能的健康监测解决方案，具有重要的实际价值和广泛的市场前景。

📄 摘要（原文）

Recent electroencephalography (EEG) foundation models increasingly emphasize model scale, potentially limiting their deployment on resource-constrained devices and in everyday environments. We argue that transferable EEG features can instead be learned with a compact architecture and introduce BrainCodes, a lightweight foundation model pretrained through self-supervised learning on more than 800 hours of recordings from over 1,000 participants. Our architecture combines a quantization-based neural tokenizer with a spatiotemporal encoder that supports arbitrary electrode configurations. The pretraining objective explicitly encourages representations that capture spatial connectivity through channel positional encoding, and sensitivity to narrowband neural oscillations through an auxiliary training objective. Our model matches or surpasses the state of the art across diverse neurophysiological monitoring tasks, including sleep staging, attention assessment, and cognitive load estimation. BrainCodes transfers effectively to low-resource wearable devices while using up to 97% fewer trainable parameters than comparable architectures. Beyond predictive accuracy, our evaluation framework characterizes the geometry and invariances of learned EEG representations across measurable spatial, temporal, and spectral signal properties.