CLEF: EEG Foundation Model for Learning Clinical Semantics

📄 arXiv: 2605.10817v1 📥 PDF

作者: Peng Cao, Ali Mirzazadeh, Jong Woo Lee, Aleksandar Videnovic, Dina Katabi

分类: cs.AI

发布日期: 2026-05-11

💡 一句话要点

提出CLEF：一种面向临床语义理解的长时程脑电图（EEG）基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑电图分析 基础模型 多模态对齐 长时程建模 临床语义理解 对比学习 电子健康记录

📋 核心要点

  1. 现有EEG模型局限于短时间窗口分析，且未能有效整合临床背景信息，难以满足临床医生对完整EEG会话的判读需求。
  2. CLEF采用3D多锥度谱图标记化技术，结合对比学习策略，将EEG信号与神经科报告及EHR数据进行深度语义对齐。
  3. 在涵盖疾病表型、药物暴露等234项任务的基准测试中，CLEF表现卓越，平均AUROC显著提升，验证了其在临床场景的泛化能力。

📝 摘要（中文）

临床脑电图（EEG）判读需要对完整的EEG记录进行推理，并将信号模式与临床背景相结合。现有的EEG基础模型多针对短窗口解码设计，且缺乏临床上下文信息。为此，我们提出了CLEF，一个具备临床基础的长时程EEG基础模型。CLEF将EEG记录表示为3D多锥度谱图（multitaper spectrogram）标记，实现了会话级Transformer建模的可行性，并通过对比学习目标将嵌入向量与神经科医生报告及结构化电子健康记录（EHR）对齐。我们在包含10.8万名患者、26万余次EEG记录的234项任务基准上进行了评估。结果显示，CLEF在234项任务中的229项优于现有模型，平均AUROC从0.65提升至0.74。实验证明，会话级、临床导向的表征学习是临床EEG基础模型研究的有效范式。

🔬 方法详解

问题定义：临床EEG分析的核心挑战在于如何处理长时程、高维度的原始信号，并将其与非结构化的临床报告及结构化的电子健康记录（EHR）进行语义关联，以实现对复杂病理特征的精准识别。

核心思路：CLEF旨在构建一个“临床接地”的表征模型。通过将EEG信号转化为紧凑的3D多锥度谱图标记，降低了Transformer处理长序列的计算复杂度，同时利用多模态对比学习将信号特征映射到临床语义空间。

技术框架：模型架构包含三个主要阶段：首先是基于多锥度谱图的信号标记化处理；其次是基于Transformer的会话级特征提取；最后是通过对比学习目标，将EEG嵌入与文本报告及EHR数据进行联合对齐，实现跨模态语义融合。

关键创新：引入了3D多锥度谱图作为输入表征，有效平衡了频率分辨率与时间分辨率；首次在大规模临床数据集上实现了EEG信号与多源临床数据的深度语义对齐，使模型具备了临床推理能力。

关键设计：采用重构预训练作为基础任务，辅以对比学习损失函数，确保模型在缺乏标注的情况下也能学习到鲁棒的信号特征；支持处理长时程会话，能够捕捉跨时间段的癫痫发作或异常放电模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLEF在包含234项任务的超大规模基准测试中表现优异，在229项任务上超越了现有最先进的EEG基础模型。其平均AUROC从0.65提升至0.74，且在Held-out概念及外部队列实验中展现了强大的迁移能力，证明了其表征学习的有效性与临床实用价值。

🎯 应用场景

CLEF可广泛应用于临床辅助诊断，包括癫痫发作检测、脑病分类、药物疗效评估及昏迷预后分析。其长时程分析能力使其能辅助神经科医生快速筛选海量EEG数据，提升临床决策的效率与准确性，并为个性化医疗提供数据支撑。

📄 摘要（原文）

Clinical EEG interpretation requires reasoning over full EEG sessions and integrating signal patterns with clinical context. Existing EEG foundation models are largely designed for short-window decoding and do not incorporate clinical context. We introduce CLEF, a clinically grounded long-context EEG foundation model. CLEF represents EEG sessions as 3D multitaper spectrogram tokens, enabling tractable Transformer modeling at session scale, and aligns embeddings with neurologist reports and structured EHR data through contrastive objectives. We evaluate CLEF on a new 234-task benchmark spanning disease phenotypes, medication exposures, and EEG findings, with more than 260k EEG sessions from over 108k patients. CLEF outperforms prior EEG foundation models on 229 of 234 tasks, improving mean AUROC from 0.65 to 0.74. Reconstruction-only pretraining surpasses prior EEG foundation models, while report and EHR alignment yields further gains. Held-out concept and external-cohort experiments suggest that these representations transfer beyond observed alignment targets. These results support session-scale, clinically grounded representation learning as a promising foundation-model paradigm for clinical EEG.