CORTEG: Foundation Models Enable Cross-Modality Representation Transfer from Scalp to Intracranial Brain Recordings
作者: Liuyin Yang, Qiang Sun, Bob Van Dyck, Eva Calvo Merino, Marc M. Van Hulle
分类: cs.AI, eess.SP
发布日期: 2026-05-11
💡 一句话要点
提出CORTEG框架，利用预训练EEG基础模型实现跨模态脑电信号迁移与高效解码
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑机接口 基础模型 跨模态迁移 颅内脑电图 神经解码 小样本学习
📋 核心要点
- 现有ECoG解码器多为受试者特定模型，数据需求大且难以利用跨患者的通用神经表征，限制了临床应用扩展。
- 提出CORTEG框架，通过迁移预训练EEG基础模型，结合空间适配器与双流分词器，实现跨模态表征迁移与快速校准。
- 实验证明CORTEG在手指轨迹与音频包络回归任务中表现卓越，尤其在小样本校准场景下显著优于传统基线模型。
📝 摘要（中文）
颅内脑电图（ECoG）为脑机接口提供了高信噪比的皮层活动数据，但由于每位患者的数据量有限，现有研究多依赖于小规模、特定于受试者的解码器，忽略了跨患者的共享信息。本文探讨了将大规模预训练头皮EEG基础模型（EEG FMs）迁移至ECoG的可行性，旨在实现跨患者学习，并在单GPU上通过10-30分钟的校准即可达到极具竞争力的解码性能。我们提出了CORTEG框架，结合了预训练EEG基础模型骨干、电极感知KNN-SoftFourier空间适配器、针对低频和高伽马活动的双流分词器，以及留一法微调策略。在手指轨迹回归和音频包络回归任务上的实验表明，CORTEG在数据受限的情况下表现优于或持平于特定任务基线，证明了头皮EEG预训练在ECoG解码中的迁移潜力，为构建高效、可适应新患者的颅内脑机接口提供了系统性证据。
🔬 方法详解
问题定义：ECoG数据获取成本高且样本量稀缺，导致传统的端到端深度学习模型在个体间泛化能力差，难以在短时间内为新患者构建高性能解码器。
核心思路：利用大规模头皮EEG预训练模型作为通用特征提取器，通过跨模态迁移学习将头皮信号的通用神经动力学知识映射至颅内信号，从而克服ECoG数据匮乏的瓶颈。
技术框架：CORTEG包含三个核心模块：1. 预训练EEG FM骨干网络；2. 电极感知KNN-SoftFourier空间适配器，用于处理不同患者间电极布局的差异；3. 双流分词器，分别处理低频信号与高伽马频段的神经活动特征。
关键创新：引入了空间适配器机制，通过KNN插值与傅里叶变换处理非规则电极分布，解决了跨模态迁移中空间拓扑不一致的难题，实现了从头皮到颅内的有效表征对齐。
关键设计：采用留一受试者交叉验证（LOSO）策略进行微调，通过仅需10-30分钟的轻量级校准，即可在保持神经生理学解释性的同时，实现对复杂运动轨迹与音频信息的精准解码。
🖼️ 关键图片
📊 实验亮点
在9名受试者的手指轨迹回归任务中，CORTEG达到了对比方法中的最高相关系数；在16名受试者的音频包络回归任务中，取得了统计学意义上的显著提升。该模型在极低数据量（10-30分钟校准）下展现出优于传统特定任务基线的性能，且其潜空间表征与神经生理学结构高度吻合。
🎯 应用场景
该研究主要应用于高精度脑机接口（BCI）领域，特别是针对运动障碍患者的神经假体控制与语音重建。通过降低对单人训练数据的依赖，CORTEG能够显著缩短临床植入后的系统校准时间，提升BCI系统的易用性与鲁棒性，为个性化神经康复治疗提供技术支撑。
📄 摘要（原文）
Intracranial electrocorticography (ECoG) offers high-signal-to-noise access to cortical activity for brain-computer interfaces, yet limited per-patient data has led most prior work to rely on small, subject-specific decoders that neglect information shared across patients. We investigate whether large pretrained scalp-EEG foundation models (EEG FMs) can be adapted to ECoG, enabling cross-patient learning and competitive decoding performance while calibrating to a held-out patient in 10-30 minutes on a single GPU. We introduce CORTEG, a cross-modality transfer framework that combines a pretrained EEG FM backbone, an electrode-aware KNNSoftFourier spatial adapter, a dual-stream tokenizer for low-frequency and high-gamma activity, and a leave-one-subject-out fine-tuning strategy. We evaluate CORTEG on two challenging regression tasks: public finger trajectory regression (n=9) and private audio envelope regression (n=16). CORTEG matches or exceeds the strongest task-specific baselines on both tasks: it reaches the highest mean correlation among compared methods on the public finger benchmark (gain not statistically significant on n=9 subjects), with larger and statistically significant gains on the audio task and in low-data per-patient calibration. Feature analyses align with neurophysiology, and latent manifolds capture low-dimensional finger-movement structure. CORTEG provides systematic evidence that scalp-EEG pretraining can be repurposed for ECoG decoding, enabling data-efficient intracranial BCIs that can adapt to new patients.