PhysMamba: State Space Duality Model for Remote Physiological Measurement

📄 arXiv: 2408.01077v3 📥 PDF

作者: Zhixin Yan, Yan Zhong, Hongbin Xu, Wenjun Zhang, Shangru Yi, Lin Shu, Wenxiong Kang

分类: cs.CV

发布日期: 2024-08-02 (更新: 2025-01-16)

💡 一句话要点

PhysMamba：提出基于状态空间对偶的远程生理测量模型，提升噪声环境下的鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 远程生理测量 rPPG 状态空间模型 注意力机制 时间频率分析 非接触式监测 生理信号提取

📋 核心要点

  1. 现有rPPG方法易受运动伪影、光照变化和噪声的影响，限制了其在实际场景中的应用。
  2. PhysMamba提出了一种基于协同状态空间对偶的双路径时间-频率交互模型，并结合多尺度查询机制，增强特征表示。
  3. 在多个数据集上的实验表明，PhysMamba在准确性和泛化能力上优于现有方法，为非接触式健康监测奠定基础。

📝 摘要（中文）

远程光电容积脉搏波(rPPG)技术能够从面部视频中非接触地提取生理信号，应用于心理状态分析、医疗辅助和反人脸欺骗等领域。然而，运动伪影、光照变化和噪声等挑战限制了其在现实世界中的应用。为了解决这些问题，我们提出了PhysMamba，一种新颖的基于协同状态空间对偶(SSSD)的双路径时间-频率交互模型，首次在双分支框架中集成了状态空间模型和注意力机制。结合多尺度查询(MQ)机制，PhysMamba实现了高效的信息交换和增强的特征表示，确保了在噪声和动态条件下的鲁棒性。在PURE、UBFC-rPPG和MMPD数据集上的实验表明，PhysMamba优于最先进的方法，提供了卓越的准确性和泛化能力。这项工作为非接触式健康监测的实际应用，包括实时远程患者护理，奠定了坚实的基础。

🔬 方法详解

问题定义：论文旨在解决远程光电容积脉搏波(rPPG)技术在实际应用中，由于运动伪影、光照变化和噪声等因素导致的信号提取精度下降的问题。现有方法在处理这些干扰因素时鲁棒性不足，限制了rPPG技术在非接触式健康监测等领域的应用。

核心思路：论文的核心思路是利用状态空间模型(SSM)和注意力机制的互补优势，构建一个双分支框架，即PhysMamba。通过协同状态空间对偶(SSSD)机制，在时间域和频率域上进行信息交互，从而增强模型对噪声和动态变化的适应能力。多尺度查询(MQ)机制进一步提升了特征表示能力，确保模型能够提取到更准确的生理信号。

技术框架：PhysMamba模型采用双路径结构，分别处理时间域和频率域的信息。两个路径都包含基于状态空间模型的特征提取模块。通过协同状态空间对偶(SSSD)机制，两个路径之间进行信息交互。此外，模型还引入了多尺度查询(MQ)机制，用于增强特征表示。整个流程包括视频输入、预处理、特征提取、信息交互和信号重建等步骤。

关键创新：PhysMamba的关键创新在于首次将状态空间模型与注意力机制集成到一个双分支框架中，并提出了协同状态空间对偶(SSSD)机制。这种设计能够充分利用状态空间模型在时间序列建模方面的优势，以及注意力机制在特征选择和信息融合方面的能力。与传统的基于CNN或RNN的rPPG方法相比，PhysMamba在处理噪声和动态变化方面具有更强的鲁棒性。

关键设计：PhysMamba的关键设计包括：1) 基于Mamba的状态空间模型，用于高效的时间序列建模；2) 协同状态空间对偶(SSSD)机制，用于时间域和频率域的信息交互；3) 多尺度查询(MQ)机制，用于增强特征表示；4) 损失函数的设计，可能包括重建损失和正则化项，以提高信号重建的准确性和稳定性。具体的参数设置和网络结构细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PhysMamba在PURE、UBFC-rPPG和MMPD等多个公开数据集上进行了评估，实验结果表明，PhysMamba在准确性和泛化能力上均优于现有的最先进方法。具体的性能提升幅度需要在论文中查找。该模型在噪声和动态变化等复杂场景下表现出更强的鲁棒性，验证了其在实际应用中的潜力。

🎯 应用场景

PhysMamba在非接触式健康监测领域具有广泛的应用前景，例如远程患者监护、心理状态评估、驾驶员疲劳检测等。该技术可以应用于智能家居、智能车载系统、可穿戴设备等多种平台，实现实时、便捷的生理信号监测，为个性化健康管理提供支持。此外，PhysMamba还可以用于反人脸欺骗，提高身份验证的安全性。

📄 摘要（原文）

Remote Photoplethysmography (rPPG) enables non-contact physiological signal extraction from facial videos, offering applications in psychological state analysis, medical assistance, and anti-face spoofing. However, challenges such as motion artifacts, lighting variations, and noise limit its real-world applicability. To address these issues, we propose PhysMamba, a novel dual-pathway time-frequency interaction model based on Synergistic State Space Duality (SSSD), which for the first time integrates state space models with attention mechanisms in a dual-branch framework. Combined with a Multi-Scale Query (MQ) mechanism, PhysMamba achieves efficient information exchange and enhanced feature representation, ensuring robustness under noisy and dynamic conditions. Experiments on PURE, UBFC-rPPG, and MMPD datasets demonstrate that PhysMamba outperforms state-of-the-art methods, offering superior accuracy and generalization. This work lays a strong foundation for practical applications in non-contact health monitoring, including real-time remote patient care.