ECG-FM: An Open Electrocardiogram Foundation Model

📄 arXiv: 2408.05178v2 📥 PDF

作者: Kaden McKeen, Sameer Masood, Augustin Toma, Barry Rubin, Bo Wang

分类: cs.LG

发布日期: 2024-08-09 (更新: 2025-05-30)

备注: 23 pages, 10 figures, 8 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出ECG-FM：一个开源心电图分析的基础模型，提升小样本和跨数据集场景性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图分析 基础模型 自监督学习 Transformer 对比学习 生成式学习 开源模型 心血管疾病

📋 核心要点

  1. 现有心电图分析模型依赖大量标注数据，成本高昂且泛化性受限，缺乏开源可复现的基础模型。
  2. ECG-FM采用混合对比和生成式自监督学习，预训练Transformer模型，有效提取心电图的通用特征。
  3. 实验表明，ECG-FM在小样本和跨数据集场景下表现出色，显著优于特定任务模型，具有良好的鲁棒性和泛化性。

📝 摘要（中文）

传统的心电图(ECG)分析模型需要大量标注数据进行训练。基础模型通过自监督预训练来减轻这一负担；然而，开源的ECG基础模型的稀缺性阻碍了其应用和跨研究的可比性。我们提出了ECG-FM，一个用于ECG分析的开源基础模型，并使用包含150万份ECG的数据集进行研究。ECG-FM是一个基于Transformer的模型，使用混合对比和生成式自监督学习方法进行预训练。我们的下游任务包括预测左心室射血分数(LVEF)降低和ECG解读标签，并在MIMIC-IV-ECG数据集上发布了一个基准任务。我们通过展示数据缩放实验、执行潜在空间分析和生成显著性图来证实ECG-FM的鲁棒性、标签效率和功能区分性。ECG-FM在小到中等规模的数据范围内明显优于特定任务模型，并展示了跨数据集的泛化能力，在许多临床显著标签上实现了较高的AUROC，例如房颤(0.996)和LVEF<=40%(0.929)。我们发布了我们的代码、模型权重和基准任务。

🔬 方法详解

问题定义：论文旨在解决心电图分析中对大量标注数据的依赖问题，以及缺乏开源、可复现的基础模型的问题。现有方法通常需要针对特定任务训练模型，泛化能力差，且难以进行跨研究比较。

核心思路：论文的核心思路是利用自监督学习，从大量未标注的心电图数据中学习通用的心电图特征表示。通过预训练一个基础模型，然后在下游任务上进行微调，可以显著减少对标注数据的需求，并提高模型的泛化能力。

技术框架：ECG-FM的整体框架包括两个主要阶段：预训练阶段和微调阶段。在预训练阶段，使用混合对比和生成式自监督学习方法训练Transformer模型。在微调阶段，将预训练好的模型应用于下游任务，如预测左心室射血分数和ECG解读标签。

关键创新：ECG-FM的关键创新在于其混合对比和生成式自监督学习方法。对比学习用于学习心电图信号的判别性特征，而生成式学习用于学习心电图信号的重建能力。这种混合方法可以更全面地捕捉心电图信号的特征。此外，开源发布模型权重和代码，促进了研究的复现性和可比性。

关键设计：ECG-FM使用Transformer作为基础模型架构。在预训练阶段，采用了对比损失和生成损失的加权组合。对比损失使用InfoNCE损失函数，生成损失使用均方误差损失函数。模型的输入是原始心电图信号，经过预处理后输入到Transformer模型中。在微调阶段，根据下游任务的不同，添加相应的输出层。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ECG-FM在MIMIC-IV-ECG数据集上进行了评估，在房颤(AF)预测任务上取得了0.996的AUROC，在左心室射血分数(LVEF<=40%)预测任务上取得了0.929的AUROC。实验表明，ECG-FM在小样本情况下优于特定任务模型，并具有良好的跨数据集泛化能力。

🎯 应用场景

ECG-FM可应用于多种心血管疾病的诊断和预测，例如房颤、心肌梗死和心力衰竭等。该模型可以作为临床辅助诊断工具，提高诊断效率和准确性。此外，ECG-FM还可以用于心电图信号的异常检测和风险评估，为患者提供个性化的医疗服务。开源的特性也促进了相关研究的进展。

📄 摘要（原文）

Conventional task-specific electrocardiogram (ECG) analysis models require large annotated datasets to train. Foundation models mitigate this burden by leveraging self-supervised pretraining; however, the scarcity of open-weight ECG foundation models hinders adoption and cross-study comparability. We present ECG-FM, an open foundation model for ECG analysis, and conduct a study using a dataset of 1.5 million ECGs. ECG-FM is a transformer-based model pretrained using a hybrid contrastive and generative self-supervised learning approach. Our downstream tasks include predicting reduced left ventricular ejection fraction (LVEF) and ECG interpretation labels, where we release a benchmark task on the MIMIC-IV-ECG dataset. We affirm that ECG-FM is robust, label-efficient, and functionally discriminative by showcasing data scaling experiments, performing a latent space analysis, and generating saliency maps. ECG-FM markedly outperforms task-specific models in the small-to-medium-scale data regime and demonstrates cross-dataset generalizability, achieving high AUROC on many clinically salient labels such as atrial fibrillation (0.996) and LVEF<=40% (0.929). We release our code, model weights, and benchmark task at https://github.com/bowang-lab/ECG-FM/.