PI-HMR: Towards Robust In-bed Temporal Human Shape Reconstruction with Contact Pressure Sensing

📄 arXiv: 2503.00068v2 📥 PDF

作者: Ziyu Wu, Yufan Xiong, Mengting Niu, Fangting Xie, Quan Wan, Qijun Ying, Boyan Liu, Xiaohui Cai

分类: cs.CV, cs.ET

发布日期: 2025-02-27 (更新: 2025-03-22)

备注: Accepeted by CVPR2025

💡 一句话要点

PI-HMR：利用接触压力感知实现鲁棒的卧床人体形状时序重建

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体形状重建 压力感应 卧床监测 时序建模 SMPL模型

📋 核心要点

  1. 现有基于视觉的人体形状重建技术在卧床等非直视和隐私敏感场景中面临严峻挑战。
  2. 本文提出PI-HMR框架，结合SMPLify-IB数据标注方法和时序人体形状估计器，利用压力感应数据进行人体形状重建。
  3. 实验结果表明，PI-HMR在卧床人体形状重建任务上优于现有方法，平均关节误差降低了17.01mm。

📝 摘要（中文）

本文提出了一种通用的框架，旨在弥合数据标注和模型设计方面的差距，以解决卧床场景下人体形状重建问题。针对现有技术主要依赖视觉信息，在非直视和隐私敏感场景中面临挑战的问题，本文利用压力感应床单进行实时运动重建。首先，提出了SMPLify-IB优化方法，通过重力约束克服俯视场景中的深度模糊问题，为卧床数据集生成高质量的3D人体形状标注。然后，提出了PI-HMR，一个基于时序的人体形状估计器，用于从压力序列回归网格。通过将多尺度特征融合与高压分布和空间位置先验相结合，PI-HMR优于SOTA方法，平均关节误差降低了17.01mm。

🔬 方法详解

问题定义：论文旨在解决在卧床环境下，利用压力感应数据进行鲁棒的人体形状时序重建问题。现有方法主要依赖视觉信息，但在非直视和隐私敏感的卧床场景中表现不佳。此外，压力感应数据相关的模型设计和数据标注方面也存在不足，限制了其发展。

核心思路：论文的核心思路是利用压力感应床单提供的压力分布信息，结合人体形状先验知识，通过时序建模的方式，实现对卧床人体形状的准确重建。通过引入重力约束解决深度模糊问题，并设计多尺度特征融合网络提取压力序列中的有效信息。

技术框架：PI-HMR框架主要包含两个阶段：1) 数据标注阶段：提出SMPLify-IB方法，利用重力约束优化SMPL模型参数，生成高质量的卧床人体形状标注。2) 模型训练阶段：构建基于时序的人体形状估计器PI-HMR，输入压力序列，输出人体网格模型。PI-HMR集成了多尺度特征融合模块，用于提取不同时间尺度上的压力分布特征，并结合高压分布和空间位置先验，提高重建精度。

关键创新：论文的关键创新在于：1) 提出了SMPLify-IB方法，解决了卧床场景下深度模糊的数据标注问题。2) 设计了PI-HMR网络，将多尺度特征融合与人体形状先验相结合，提高了压力感应数据的人体形状重建精度。3) 将时序信息引入到人体形状重建中，提高了重建的鲁棒性。

关键设计：SMPLify-IB方法中，利用重力方向作为约束，优化SMPL模型的位姿参数和形状参数。PI-HMR网络采用多尺度卷积神经网络提取压力图的特征，并使用LSTM网络进行时序建模。损失函数包括形状损失、位姿损失和关节位置损失等，用于约束重建的人体形状与真实形状的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PI-HMR在卧床人体形状重建任务上取得了显著的性能提升，相较于现有方法，平均关节误差降低了17.01mm。实验结果表明，SMPLify-IB方法能够生成高质量的卧床人体形状标注，多尺度特征融合和人体形状先验能够有效提高重建精度。此外，时序建模也增强了模型的鲁棒性。

🎯 应用场景

该研究成果可应用于智能医疗、养老监护等领域。通过实时监测卧床人员的姿态和活动模式，可以实现跌倒检测、睡眠质量评估、褥疮风险预测等功能，从而提升医疗服务的自动化和智能化水平，改善患者的生活质量。未来，该技术有望与智能床垫、智能家居等设备集成，构建更加完善的健康管理系统。

📄 摘要（原文）

Long-term in-bed monitoring benefits automatic and real-time health management within healthcare, and the advancement of human shape reconstruction technologies further enhances the representation and visualization of users' activity patterns. However, existing technologies are primarily based on visual cues, facing serious challenges in non-light-of-sight and privacy-sensitive in-bed scenes. Pressure-sensing bedsheets offer a promising solution for real-time motion reconstruction. Yet, limited exploration in model designs and data have hindered its further development. To tackle these issues, we propose a general framework that bridges gaps in data annotation and model design. Firstly, we introduce SMPLify-IB, an optimization method that overcomes the depth ambiguity issue in top-view scenarios through gravity constraints, enabling generating high-quality 3D human shape annotations for in-bed datasets. Then we present PI-HMR, a temporal-based human shape estimator to regress meshes from pressure sequences. By integrating multi-scale feature fusion with high-pressure distribution and spatial position priors, PI-HMR outperforms SOTA methods with 17.01mm Mean-Per-Joint-Error decrease. This work provides a whole