Self-DANA: A Resource-Efficient Channel-Adaptive Self-Supervised Approach for ECG Foundation Models

📄 arXiv: 2507.14151v1 📥 PDF

作者: Giuliana Monachino, Nicolò La Porta, Beatrice Zanchi, Luigi Fiorillo, Alvise Dei Rossi, Georgiy Farina, Francesca Dalia Faraci

分类: eess.SP, cs.AI, cs.LG

发布日期: 2025-07-03

💡 一句话要点

提出Self-DANA，一种资源高效的通道自适应自监督心电图基础模型方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心电图分析 自监督学习 基础模型 通道自适应 资源效率

📋 核心要点

  1. 现有心电图基础模型在通道数量减少的场景下适应性不足，无法充分利用可穿戴设备等提供的有限通道数据。
  2. Self-DANA通过通道自适应的自监督学习，使模型能够灵活处理不同数量的输入通道，提高资源利用率。
  3. 实验表明，Self-DANA在减少通道配置下显著提升资源效率，同时达到SOTA性能，降低了CPU和GPU的内存及时间消耗。

📝 摘要（中文）

基础模型（FMs）是在大规模、多样化数据集上训练的机器学习模型，只需少量微调即可适应各种下游任务。近年来，心电图（ECG）信号分析领域对FMs的兴趣日益增长。FMs的关键特性之一是其对各种下游场景的可迁移性。随着可穿戴和便携式设备的普及，人们对从减少通道配置中学习产生了浓厚的兴趣。然而，ECG FMs对通道数量减少的下游场景的适应性仍有待充分研究。本文提出Self-DANA，一种新颖、易于集成的解决方案，使自监督架构能够适应减少的输入通道数量，确保资源效率和高性能。我们还引入了随机导联选择（Random Lead Selection），一种新的增强技术，以更鲁棒和通道无关的方式预训练模型。在五个减少通道配置上的实验结果表明，Self-DANA显著提高了资源效率，同时达到了最先进的性能。它需要的峰值CPU内存减少高达69.3%，峰值GPU内存减少34.4%，平均每个epoch的CPU时间减少约17%，平均每个epoch的GPU时间减少约24%。

🔬 方法详解

问题定义：论文旨在解决心电图（ECG）基础模型在通道数量减少的场景下的适应性问题。现有ECG基础模型通常针对固定数量的通道进行训练，难以有效利用可穿戴设备等提供的通道数量有限的心电数据。这限制了它们在资源受限环境中的应用，并且无法充分利用不同通道配置的心电数据。

核心思路：论文的核心思路是设计一种通道自适应的自监督学习方法，使模型能够灵活处理不同数量的输入通道。通过引入通道选择机制和相应的训练策略，模型可以学习到与通道数量无关的心电信号表示，从而提高在各种通道配置下的泛化能力。

技术框架：Self-DANA的整体框架包括一个自监督预训练阶段和一个下游任务微调阶段。在预训练阶段，模型使用大量未标记的心电数据进行训练，学习心电信号的通用表示。关键模块包括：1）通道选择模块，用于随机选择输入通道；2）编码器模块，用于提取心电信号的特征表示；3）解码器模块，用于重建输入信号或预测其他相关信息。在微调阶段，模型使用少量标记数据进行微调，以适应特定的下游任务。

关键创新：论文最重要的技术创新点在于通道自适应的自监督学习方法。与传统的固定通道数量的训练方法不同，Self-DANA通过随机选择输入通道，使模型能够学习到与通道数量无关的心电信号表示。此外，论文还提出了随机导联选择（Random Lead Selection）的增强技术，进一步提高了模型的鲁棒性和通道无关性。

关键设计：在通道选择模块中，论文采用随机选择策略，即每次训练迭代时，随机选择一部分输入通道。这种策略可以有效地模拟不同通道配置下的心电数据，提高模型的泛化能力。在损失函数方面，论文采用重建损失或对比学习损失，以鼓励模型学习到有意义的心电信号表示。具体网络结构未知，但应包含编码器和解码器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Self-DANA在五个减少通道配置上显著提高了资源效率，同时达到了最先进的性能。与现有方法相比，Self-DANA需要的峰值CPU内存减少高达69.3%，峰值GPU内存减少34.4%，平均每个epoch的CPU时间减少约17%，平均每个epoch的GPU时间减少约24%。这些结果表明，Self-DANA是一种资源高效且性能优越的心电图基础模型。

🎯 应用场景

Self-DANA具有广泛的应用前景，尤其是在可穿戴设备和远程医疗领域。它可以应用于各种心律失常检测、心肌梗塞诊断等心血管疾病的早期筛查和监测。通过利用有限的通道数据，Self-DANA可以降低硬件成本和功耗，提高设备的可移植性和易用性，从而促进心血管疾病的普及化防治。

📄 摘要（原文）

Foundation Models (FMs) are large-scale machine learning models trained on extensive, diverse datasets that can be adapted to a wide range of downstream tasks with minimal fine-tuning. In the last two years, interest in FMs has also grown for applications in the cardiological field to analyze the electrocardiogram (ECG) signals. One of the key properties of FMs is their transferability to a wide range of downstream scenarios. With the spread of wearable and portable devices, keen interest in learning from reduced-channel configurations has arisen. However, the adaptation of ECG FMs to downstream scenarios with fewer available channels still has to be properly investigated. In this work, we propose Self-DANA, a novel, easy-to-integrate solution that makes self-supervised architectures adaptable to a reduced number of input channels, ensuring resource efficiency and high performance. We also introduce Random Lead Selection, a novel augmentation technique to pre-train models in a more robust and channel-agnostic way. Our experimental results on five reduced-channel configurations demonstrate that Self-DANA significantly enhances resource efficiency while reaching state-of-the-art performance. It requires up to 69.3% less peak CPU memory, 34.4% less peak GPU memory, about 17% less average epoch CPU time, and about 24% less average epoch GPU time.