Exploring Remote Photoplethysmography for Neonatal Pain Detection from Facial Videos

📄 arXiv: 2604.25680v1 📥 PDF

作者: Ashutosh Dhamaniya, Anup Kumar Gupta, Trishna Saikia, Puneet Gupta

分类: cs.CV, eess.IV

发布日期: 2026-04-28

备注: 25 pages, 9 figures, 10 tables. Proposed rPPG-based method for neonatal pain detection from facial videos, with multimodal (rPPG + audio) analysis and extensive ablation studies on the iCOPEvid dataset

💡 一句话要点

提出基于rPPG的新生儿面部视频疼痛非接触式检测方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 新生儿疼痛检测 remote Photoplethysmography rPPG 非接触式监测 面部视频分析

📋 核心要点

  1. 传统接触式生理监测方法不适用于新生儿长期监测，且存在疾病传播风险，亟需非接触式解决方案。
  2. 论文提出基于面部视频的rPPG方法，通过质量评估选择高质量ROI信号，并结合信噪比优化rPPG信号提取。
  3. 实验表明，rPPG信号可有效用于新生儿疼痛检测，蓝色通道表现最佳，且结合音频特征可进一步提升性能。

📝 摘要（中文）

新生儿未得到解决的疼痛可能导致不良后果，包括发育迟缓和体重增长缓慢，因此需要更客观和可靠的疼痛评估方法。为此，已经开发了使用行为和生理疼痛指标的自动化方法来帮助新生儿重症监护室的医护人员。传统的接触式生理参数估计方法不适合长期监测，并增加了传播COVID-19等疾病的风险。本文提出了一种使用remote photoplethysmography (rPPG) 以非接触方式估计脉搏信号并将其用于新生儿疼痛检测的新方法。从受皮肤变形影响的感兴趣区域 (ROI) 获取的时间信号可能质量较低，并提供错误的 rPPG 信号。因此，我们加入了一个质量参数来选择从受皮肤变形影响最小的 ROI 获得的时间信号。此外，我们采用信噪比作为适应度参数来提取对应于受噪声影响最小的片段的 rPPG 信号。实验结果表明，rPPG 信号为新生儿疼痛检测提供了有用的信息，并且从蓝色通道提取的信号优于从其他颜色通道提取的信号。我们还表明，结合 rPPG 和音频特征比单独使用模态提供更好的结果。

🔬 方法详解

问题定义：论文旨在解决新生儿疼痛的客观、非接触式评估问题。现有接触式生理监测方法不适用于新生儿长期监测，且存在疾病传播风险。同时，面部视频中皮肤变形和噪声干扰会影响rPPG信号的质量，导致疼痛检测准确率下降。

核心思路：论文的核心思路是利用remote Photoplethysmography (rPPG)技术，从新生儿面部视频中非接触式地提取脉搏信号，并将其作为生理指标用于疼痛检测。通过引入质量参数和信噪比评估，筛选高质量的rPPG信号，从而提高疼痛检测的准确性。同时，结合音频特征，利用多模态信息融合进一步提升检测性能。

技术框架：整体流程包括：1) 从面部视频中提取感兴趣区域 (ROI) 的时间信号；2) 使用质量参数筛选受皮肤变形影响最小的ROI信号；3) 利用信噪比作为适应度参数，提取噪声影响最小的rPPG信号；4) 将rPPG信号与音频特征融合；5) 使用机器学习模型进行疼痛检测。

关键创新：论文的关键创新在于：1) 将rPPG技术应用于新生儿疼痛检测，实现了非接触式生理监测；2) 提出了基于质量参数和信噪比的rPPG信号质量评估方法，有效降低了皮肤变形和噪声对信号的影响；3) 探索了不同颜色通道的rPPG信号性能，发现蓝色通道表现最佳；4) 结合rPPG和音频特征，实现了多模态信息融合，提升了疼痛检测的准确性。

关键设计：论文中，质量参数的具体计算方法未知，但其目的是评估ROI区域受皮肤变形的影响程度。信噪比被用作适应度参数，用于选择噪声影响最小的视频片段。论文比较了不同颜色通道（如红色、绿色、蓝色）的rPPG信号性能，并发现蓝色通道效果最佳，但具体原因未知。此外，论文还探索了rPPG信号与音频特征的融合方法，但具体融合策略未知。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，基于rPPG信号的新生儿疼痛检测方法具有可行性，且从蓝色通道提取的信号优于其他颜色通道。结合rPPG和音频特征的多模态方法，相比于单一模态，能够提供更好的疼痛检测结果，但具体提升幅度未知。

🎯 应用场景

该研究成果可应用于新生儿重症监护室(NICU)，实现对新生儿疼痛的实时、非接触式监测，辅助医护人员进行更及时、有效的疼痛管理。该技术还可扩展到其他需要长期生理监测的场景，如老年护理、远程医疗等，具有重要的临床应用价值和社会意义。

📄 摘要（原文）

Unaddressed pain in neonates can lead to adverse effects, including delayed development and slower weight gain, emphasising the need for more objective and reliable pain assessment methods. Hence, automated methods using behavioural and physiological pain indicators have been developed to aid healthcare professionals in the Neonatal ICU. Traditional contact-based methods for physiological parameter estimation are unsuitable for long-term monitoring and increase the risk of spreading diseases like COVID-19. We introduce a novel approach using remote photoplethysmography (rPPG) to estimate pulse signals in a non-contact manner and employ them for neonatal pain detection. The temporal signals acquired from regions-of-interest (ROIs) affected by skin deformations may exhibit lower quality and provide erroneous rPPG signals. Therefore, we incorporated a quality parameter to select the temporal signals obtained from ROIs that are least affected by skin deformations. Further, we employed signal-to-noise ratio as a fitness parameter to extract the rPPG signal corresponding to the clip that is least affected by noise. Experimental findings demonstrate that the rPPG signals provide useful information for neonatal pain detection, and signals extracted from the blue colour channel outperform those extracted from other colour channels. We also show that combining rPPG and audio features provides better results than individual modalities.