MC2SleepNet: Multi-modal Cross-masking with Contrastive Learning for Sleep Stage Classification

📄 arXiv: 2502.17470v3 📥 PDF

作者: Younghoon Na, Hyun Keun Ahn, Hyun-Kyung Lee, Yoongeol Lee, Seung Hun Oh, Hongkwon Kim, Jeong-Gun Lee

分类: eess.SP, cs.AI

发布日期: 2025-02-13 (更新: 2025-02-27)

💡 一句话要点

MC2SleepNet：基于多模态跨掩码和对比学习的睡眠分期网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 睡眠分期 多模态学习 对比学习 跨掩码 脑电信号 频谱图

📋 核心要点

  1. 现有深度学习模型在多模态睡眠分期任务中，难以有效融合不同模态的信息，导致精度受限。
  2. MC2SleepNet利用对比学习和跨掩码机制，促进CNN和Transformer架构在多模态数据上的协同训练。
  3. 实验表明，MC2SleepNet在SleepEDF-78和SHHS数据集上均取得了SOTA性能，验证了其泛化能力。

📝 摘要（中文）

睡眠对健康至关重要，睡眠不足或睡眠障碍会导致身心问题。尽管之前的研究取得了显著成果，但在优化深度学习模型方面仍然存在挑战，尤其是在用于高精度睡眠分期的多模态学习中。本研究提出了MC2SleepNet（基于多模态跨掩码和对比学习的睡眠分期网络）。它旨在借助对比学习和跨掩码，促进卷积神经网络（CNN）和Transformer架构在多模态训练中的有效协作。原始单通道脑电信号和相应的频谱图数据为多模态学习提供了不同特征的模态。MC2SleepNet在SleepEDF-78数据集上实现了84.6%的准确率，在Sleep Heart Health Study（SHHS）数据集上实现了88.6%的准确率，达到了最先进的性能。这些结果证明了我们提出的网络在小型和大型数据集上的有效泛化能力。

🔬 方法详解

问题定义：论文旨在解决睡眠分期任务中，如何有效利用多模态数据（如脑电信号和频谱图）提升分类精度的问题。现有方法在多模态融合方面存在不足，难以充分挖掘不同模态之间的互补信息，导致模型性能受限。

核心思路：论文的核心思路是利用对比学习和跨掩码机制，促使模型学习到不同模态数据之间的共享表示和互补信息。通过对比学习，拉近同一睡眠阶段的不同模态数据表示，推远不同睡眠阶段的数据表示。跨掩码机制则用于增强模型对模态缺失或噪声的鲁棒性。

技术框架：MC2SleepNet的整体架构包含以下几个主要模块：1) 数据预处理：对原始脑电信号进行预处理，并生成对应的频谱图；2) 特征提取：使用CNN提取脑电信号的特征，使用Transformer提取频谱图的特征；3) 跨掩码：随机mask掉部分模态的数据，迫使模型利用其他模态的信息进行预测；4) 对比学习：使用对比损失函数，拉近同一睡眠阶段的不同模态数据表示，推远不同睡眠阶段的数据表示；5) 分类器：使用全连接层将融合后的特征映射到睡眠阶段类别。

关键创新：论文的关键创新在于提出了多模态跨掩码和对比学习相结合的训练策略。跨掩码增强了模型的鲁棒性，对比学习促进了不同模态之间的信息融合。这种策略能够有效利用多模态数据的互补信息，提升睡眠分期精度。

关键设计：在网络结构方面，CNN和Transformer的具体参数设置未知。对比学习中，使用了InfoNCE损失函数，具体温度系数等参数未知。跨掩码的mask比例未知。分类器使用了Softmax函数进行概率输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MC2SleepNet在SleepEDF-78数据集上取得了84.6%的准确率，在SHHS数据集上取得了88.6%的准确率。这些结果表明，MC2SleepNet在两个数据集上均达到了SOTA性能，验证了其有效性和泛化能力。与现有方法相比，MC2SleepNet在准确率方面有显著提升，但具体提升幅度未知。

🎯 应用场景

该研究成果可应用于智能睡眠监测设备、远程医疗和临床诊断等领域。通过提高睡眠分期的准确性，可以帮助医生更准确地诊断睡眠障碍，并为患者提供个性化的治疗方案。此外，该技术还可以用于改善睡眠质量，提高人们的生活质量。

📄 摘要（原文）

Sleep profoundly affects our health, and sleep deficiency or disorders can cause physical and mental problems. Despite significant findings from previous studies, challenges persist in optimizing deep learning models, especially in multi-modal learning for high-accuracy sleep stage classification. Our research introduces MC2SleepNet (Multi-modal Cross-masking with Contrastive learning for Sleep stage classification Network). It aims to facilitate the effective collaboration between Convolutional Neural Networks (CNNs) and Transformer architectures for multi-modal training with the help of contrastive learning and cross-masking. Raw single channel EEG signals and corresponding spectrogram data provide differently characterized modalities for multi-modal learning. Our MC2SleepNet has achieved state-of-the-art performance with an accuracy of both 84.6% on the SleepEDF-78 and 88.6% accuracy on the Sleep Heart Health Study (SHHS). These results demonstrate the effective generalization of our proposed network across both small and large datasets.