3D Blood Pulsation Maps

📄 arXiv: 2512.10517v1 📥 PDF

作者: Maurice Rohr, Tobias Reinhardt, Tizian Dege, Justus Thies, Christoph Hoog Antink

分类: cs.CV

发布日期: 2025-12-11

备注: 9 pages (without references), supplementals attached, waiting for publication. In order to access the dataset,see https://github.com/KISMED-TUDa/pulse3dface

💡 一句话要点

提出Pulse3DFace数据集，用于3D血流脉动图估计，助力远程脉搏估计研究。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 3D血流脉动图 远程脉搏估计 光电容积脉搏波成像 多视角学习 面部建模

📋 核心要点

  1. 现有远程脉搏估计方法易受光照变化影响，且缺乏高质量的动态面部血流脉动数据用于模型训练和验证。
  2. Pulse3DFace数据集提供了多视角的RGB视频、3D面部扫描和血流脉搏参考测量，可用于构建更鲁棒的血流脉动模型。
  3. 实验评估表明，该数据集能够捕获面部和颈部皮肤区域生理上有意义的特征，并为光照影响缓解提供研究基础。

📝 摘要（中文）

本文提出了Pulse3DFace，这是首个用于估计3D血流脉动图的数据集。这些脉动图可用于开发动态面部血流脉动模型，从而创建合成视频数据，以改进和验证通过光电容积脉搏波成像技术进行的远程脉搏估计方法。此外，该数据集还有助于研究基于多视角的创新方法，以减轻血流脉动分析中的光照影响。Pulse3DFace包含来自15名受试者的原始视频，这些视频以30Hz的频率通过RGB相机从23个视点记录，以及血流脉搏参考测量数据和使用单目运动结构恢复技术生成的面部3D扫描。它还包括与3D头部模型FLAME的纹理空间兼容的已处理3D脉动图。这些图提供了信噪比、局部脉冲幅度、相位信息和补充数据。我们对数据集的光照条件、图一致性及其在面部和颈部皮肤区域捕获生理上有意义的特征的能力进行了全面评估。

🔬 方法详解

问题定义：现有的远程脉搏估计方法在实际应用中面临诸多挑战，其中一个关键问题是光照变化对血流脉动信号的干扰。此外，缺乏高质量的、包含丰富血流脉动信息的3D面部数据集，限制了相关算法的开发和验证。现有方法难以有效建模动态面部血流脉动，从而影响了远程脉搏估计的准确性和鲁棒性。

核心思路：本文的核心思路是构建一个包含多视角RGB视频、3D面部扫描和血流脉搏参考测量的大规模数据集，即Pulse3DFace。通过提供丰富的血流脉动信息，该数据集能够帮助研究人员开发更精确的血流脉动模型，并探索基于多视角的创新方法来减轻光照影响。这种数据驱动的方法旨在弥补现有方法在数据和建模方面的不足。

技术框架：Pulse3DFace数据集的构建流程主要包括以下几个阶段：1) 数据采集：使用RGB相机从多个视点（23个）记录15名受试者的面部视频，同时进行血流脉搏参考测量。2) 3D面部扫描：利用单目运动结构恢复技术，从视频中重建受试者的3D面部模型。3) 脉动图生成：将视频数据处理成与FLAME 3D头部模型兼容的3D脉动图，包含信噪比、局部脉冲幅度、相位信息等。4) 数据评估：对数据集的光照条件、图一致性以及生理特征捕获能力进行全面评估。

关键创新：Pulse3DFace数据集的关键创新在于它是首个专门用于3D血流脉动图估计的数据集。与现有的面部数据集相比，Pulse3DFace不仅提供了多视角的RGB视频和3D面部模型，还包含了血流脉搏参考测量和处理后的3D脉动图。这种全面的数据组合为研究动态面部血流脉动和远程脉搏估计提供了前所未有的资源。

关键设计：在数据采集方面，采用了23个视角的RGB相机，以捕捉不同角度的面部信息。在3D面部扫描方面，使用了单目运动结构恢复技术，以生成高精度的3D面部模型。在脉动图生成方面，将视频数据处理成与FLAME 3D头部模型兼容的格式，方便研究人员使用。数据集还提供了信噪比、局部脉冲幅度、相位信息等多种脉动特征，以满足不同研究需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文对Pulse3DFace数据集进行了全面的评估，包括光照条件、图一致性和生理特征捕获能力。实验结果表明，该数据集能够有效地捕获面部和颈部皮肤区域生理上有意义的特征，例如局部脉冲幅度与心率具有相关性。此外，数据集的多视角特性为研究光照影响缓解提供了基础。

🎯 应用场景

该研究成果可广泛应用于远程健康监测、身份验证和情感识别等领域。通过分析面部血流脉动，可以实现非接触式的生理参数监测，例如心率、血压等。此外，血流脉动模式也可能包含个体特有的生物特征信息，可用于身份验证。该数据集的发布将促进相关算法的开发和应用，推动远程健康监测技术的发展。

📄 摘要（原文）

We present Pulse3DFace, the first dataset of its kind for estimating 3D blood pulsation maps. These maps can be used to develop models of dynamic facial blood pulsation, enabling the creation of synthetic video data to improve and validate remote pulse estimation methods via photoplethysmography imaging. Additionally, the dataset facilitates research into novel multi-view-based approaches for mitigating illumination effects in blood pulsation analysis. Pulse3DFace consists of raw videos from 15 subjects recorded at 30 Hz with an RGB camera from 23 viewpoints, blood pulse reference measurements, and facial 3D scans generated using monocular structure-from-motion techniques. It also includes processed 3D pulsation maps compatible with the texture space of the 3D head model FLAME. These maps provide signal-to-noise ratio, local pulse amplitude, phase information, and supplementary data. We offer a comprehensive evaluation of the dataset's illumination conditions, map consistency, and its ability to capture physiologically meaningful features in the facial and neck skin regions.