CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate Measurements by Calibrating Between Multiple Cameras

📄 arXiv: 2310.15043v2 📥 PDF

作者: Yusuke Akamatsu, Terumi Umematsu, Hitoshi Imaoka

分类: eess.IV, cs.CV

发布日期: 2023-10-23 (更新: 2024-01-11)

备注: Accepted to IEEE Journal of Biomedical and Health Informatics (J-BHI)

期刊: IEEE.J.Biomed.Health.Inf. (2023)

DOI: 10.1109/JBHI.2023.3345486

💡 一句话要点

提出CalibrationPhys以解决无监督心率与呼吸率测量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 自监督学习 心率测量 呼吸率测量 视频分析 多摄像头校准 数据增强 深度学习

📋 核心要点

  1. 现有方法通常依赖昂贵的真实数据进行训练，限制了其广泛应用。
  2. CalibrationPhys通过自监督学习，利用多个摄像头捕获的面部视频进行心率和呼吸率测量。
  3. 实验结果显示，CalibrationPhys在两个数据集上超越了现有的最先进方法，提升了测量准确性。

📝 摘要（中文）

基于视频的心率和呼吸率测量相比传统接触式传感器更为实用和用户友好。然而，目前大多数深度学习方法需要昂贵的真实脉搏和呼吸波数据进行模型训练。本文提出了CalibrationPhys，一种自监督的视频心率和呼吸率测量方法，通过多个摄像头之间的校准进行训练。CalibrationPhys利用同时捕获的面部视频进行对比学习，使得从同步视频中预测的脉搏和呼吸波为正样本，而来自不同视频的则为负样本。此外，CalibrationPhys通过数据增强技术提高模型的鲁棒性，并成功利用特定摄像头的预训练模型。实验结果表明，CalibrationPhys在心率和呼吸率测量方面优于现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决现有心率和呼吸率测量方法对真实数据依赖过强的问题，这些数据的收集成本高且难以获取。

核心思路：CalibrationPhys通过自监督学习，利用多个摄像头同时捕获的面部视频进行模型训练，避免了对真实标签的需求。

技术框架：该方法包括视频数据的同步捕获、对比学习模块以及数据增强技术。通过对比学习，模型能够识别正负样本，从而提高预测准确性。

关键创新：CalibrationPhys的创新在于其自监督学习框架，能够在没有真实标签的情况下进行有效训练，与传统方法相比，显著降低了对标注数据的依赖。

关键设计：该方法采用了对比损失函数，确保来自同步视频的样本为正样本，而来自不同视频的样本为负样本。同时，数据增强技术被应用于提高模型的鲁棒性，预训练模型的使用也增强了特定摄像头的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CalibrationPhys在两个数据集上均超越了现有的最先进方法，具体性能提升幅度达到XX%。该方法的鲁棒性和适应性使其能够在不同摄像头下有效工作，进一步验证了其实际应用价值。

🎯 应用场景

CalibrationPhys的研究成果具有广泛的应用潜力，尤其在健康监测、远程医疗和智能穿戴设备等领域。通过无接触的方式进行心率和呼吸率测量，能够提高用户体验并降低使用门槛，未来可能推动更大范围的健康监测技术普及。

📄 摘要（原文）

Video-based heart and respiratory rate measurements using facial videos are more useful and user-friendly than traditional contact-based sensors. However, most of the current deep learning approaches require ground-truth pulse and respiratory waves for model training, which are expensive to collect. In this paper, we propose CalibrationPhys, a self-supervised video-based heart and respiratory rate measurement method that calibrates between multiple cameras. CalibrationPhys trains deep learning models without supervised labels by using facial videos captured simultaneously by multiple cameras. Contrastive learning is performed so that the pulse and respiratory waves predicted from the synchronized videos using multiple cameras are positive and those from different videos are negative. CalibrationPhys also improves the robustness of the models by means of a data augmentation technique and successfully leverages a pre-trained model for a particular camera. Experimental results utilizing two datasets demonstrate that CalibrationPhys outperforms state-of-the-art heart and respiratory rate measurement methods. Since we optimize camera-specific models using only videos from multiple cameras, our approach makes it easy to use arbitrary cameras for heart and respiratory rate measurements.