Remote Heart Rate Monitoring in Smart Environments from Videos with Self-supervised Pre-training

📄 arXiv: 2310.15388v1 📥 PDF

作者: Divij Gupta, Ali Etemad

分类: cs.CV, cs.LG

发布日期: 2023-10-23

备注: Accepted in IEEE Internet of Things Journal 2023

💡 一句话要点

提出自监督对比学习以解决远程心率监测数据依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 远程心率监测 自监督学习 对比学习 光电容积描记 深度学习 数据增强 健康监测

📋 核心要点

  1. 现有深度学习方法在远程心率监测中严重依赖大量标注数据，限制了其应用。
  2. 论文提出利用自监督对比学习，减少对标注数据的依赖，提高心率监测的准确性。
  3. 实验结果显示，所提方法在多个数据集上超越了多种相关工作和监督学习基线，性能显著提升。

📝 摘要（中文）

近年来，深度学习的进步使得通过视频分析在智能环境中远程估计心率变得可行。然而，深度学习方法的一个显著限制是对大量标注数据的依赖。为了解决这一问题，自监督学习成为一种有前景的途径。本文提出了一种利用自监督对比学习进行远程光电容积描记（PPG）和心率监测的解决方案，从而减少对标注数据的依赖并提高性能。我们提出使用3种空间和3种时间增强方法，通过对比框架训练编码器，随后利用编码器的晚期中间嵌入进行远程PPG和心率估计。实验结果表明，所提方法在多个公开数据集上优于相关工作及监督学习基线，接近当前最先进水平。

🔬 方法详解

问题定义：本文旨在解决远程心率监测中对大量标注数据的依赖问题。现有方法在缺乏足够标注数据时，性能显著下降，限制了其实际应用。

核心思路：论文的核心思路是通过自监督对比学习来进行心率监测，利用未标注数据进行有效的特征学习，从而减少对标注数据的需求。这样的设计旨在提高模型的泛化能力和准确性。

技术框架：整体架构包括数据增强、编码器训练和心率估计三个主要模块。首先，通过3种空间和3种时间增强方法对输入视频进行处理，然后训练编码器以学习有效的特征，最后利用编码器的嵌入进行心率估计。

关键创新：最重要的技术创新在于引入自监督对比学习框架，使得模型能够在缺乏标注数据的情况下仍然有效学习，从而显著提升了心率监测的性能。与现有方法相比，该方法在数据利用效率上有本质的区别。

关键设计：在设计中，采用了多种数据增强策略以提高模型的鲁棒性，损失函数采用对比损失，网络结构为深度卷积神经网络，确保了特征提取的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在两个公开数据集上均优于多种相关工作和监督学习基线，性能接近当前最先进水平，展示了在减少标注数据情况下的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、健康监测和远程医疗等。通过实现无接触的心率监测，能够为用户提供更便捷的健康管理方案，未来可能在老年人护理和慢性病监测中发挥重要作用。

📄 摘要（原文）

Recent advances in deep learning have made it increasingly feasible to estimate heart rate remotely in smart environments by analyzing videos. However, a notable limitation of deep learning methods is their heavy reliance on extensive sets of labeled data for effective training. To address this issue, self-supervised learning has emerged as a promising avenue. Building on this, we introduce a solution that utilizes self-supervised contrastive learning for the estimation of remote photoplethysmography (PPG) and heart rate monitoring, thereby reducing the dependence on labeled data and enhancing performance. We propose the use of 3 spatial and 3 temporal augmentations for training an encoder through a contrastive framework, followed by utilizing the late-intermediate embeddings of the encoder for remote PPG and heart rate estimation. Our experiments on two publicly available datasets showcase the improvement of our proposed approach over several related works as well as supervised learning baselines, as our results approach the state-of-the-art. We also perform thorough experiments to showcase the effects of using different design choices such as the video representation learning method, the augmentations used in the pre-training stage, and others. We also demonstrate the robustness of our proposed method over the supervised learning approaches on reduced amounts of labeled data.