Contact-Aware Refinement of Human Pose Pseudo-Ground Truth via Bioimpedance Sensing

📄 arXiv: 2512.04862v1 📥 PDF

作者: Maria-Paola Forte, Nikos Athanasiou, Giulia Ballardini, Jan Ulrich Bartels, Katherine J. Kuchenbecker, Michael J. Black

分类: cs.CV

发布日期: 2025-12-04

备注: * Equal contribution. Minor figure corrections compared to the ICCV 2025 version

💡 一句话要点

提出BioTUCH，利用生物阻抗感知优化人体姿态估计，解决自接触场景难题。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人体姿态估计 生物阻抗感知 自接触 姿态优化 多模态融合

📋 核心要点

  1. 现有基于视频的3D人体姿态估计方法在处理自接触（如手触脸）时精度显著下降，是亟待解决的难题。
  2. BioTUCH框架融合视觉姿态估计与生物阻抗感知，利用生物阻抗数据提供的接触信息，优化姿态估计结果。
  3. 实验结果表明，BioTUCH能有效提升自接触场景下的姿态估计精度，平均提升达11.7%。

📝 摘要（中文）

本文提出了一种新颖的框架，BioTUCH，结合视觉姿态估计器和生物阻抗感知，以解决人体自接触场景下的3D姿态估计问题。现有的基于视频的姿态估计方法在自接触情况下表现不佳，而生物阻抗感知能够经济且无干扰地测量皮肤间的接触。BioTUCH首先使用现成的姿态估计器初始化姿态，然后在测量的自接触期间引入接触感知的姿态优化：最小化重投影误差和与输入估计的偏差，同时强制执行顶点邻近约束。通过在一个新的同步RGB视频、生物阻抗测量和3D运动捕捉数据集上进行验证，结果表明，使用三种输入姿态估计器，重建精度平均提高了11.7%。此外，还展示了一种微型可穿戴生物阻抗传感器，可有效大规模收集接触感知训练数据，以改进姿态估计和生成。

🔬 方法详解

问题定义：论文旨在解决人体自接触场景下，基于视觉的3D人体姿态估计精度低的问题。现有方法难以准确判断身体部位间的接触关系，导致姿态估计偏差较大，尤其是在遮挡严重的情况下。

核心思路：核心思路是利用生物阻抗感知技术获取皮肤间的接触信息，将其作为约束条件融入到姿态优化过程中。生物阻抗能够直接测量皮肤间的电导率，从而判断是否存在物理接触，弥补了视觉信息在自接触场景下的不足。

技术框架：BioTUCH框架包含以下几个主要步骤：1) 使用现成的3D人体姿态估计器（如HMR、SMPLify）初始化人体姿态；2) 利用可穿戴生物阻抗传感器获取皮肤间的接触信息；3) 构建接触感知的姿态优化目标函数，该函数同时考虑了重投影误差、与初始姿态的偏差以及顶点邻近约束；4) 通过优化算法求解姿态参数，得到最终的姿态估计结果。

关键创新：关键创新在于将生物阻抗感知技术与视觉姿态估计相结合，提出了一种接触感知的姿态优化方法。与传统方法相比，BioTUCH能够直接利用接触信息来约束姿态估计，从而提高在自接触场景下的精度。

关键设计：在姿态优化过程中，采用了以下关键设计：1) 重投影误差：最小化估计的3D人体姿态在图像上的投影与2D关键点检测结果之间的差异；2) 初始姿态偏差：约束优化后的姿态与初始姿态之间的差异，避免过度偏离；3) 顶点邻近约束：强制接触的顶点之间的距离尽可能小，以保证姿态的合理性；4) 生物阻抗损失：当生物阻抗传感器检测到接触时，对相应顶点施加邻近约束，否则不施加。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BioTUCH框架能够显著提升自接触场景下的3D人体姿态估计精度。在包含多种自接触动作的数据集上，使用三种不同的初始姿态估计器（HMR, SMPLify等），BioTUCH平均提升了11.7%的重建精度，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于人机交互、虚拟现实、运动分析、医疗康复等领域。例如，在虚拟现实中，可以利用BioTUCH技术更准确地捕捉用户的手部动作，从而实现更自然的人机交互。在运动分析中，可以用于分析运动员的动作姿态，提高训练效果。在医疗康复中，可以用于监测患者的康复进展，提供个性化的康复方案。

📄 摘要（原文）

Capturing accurate 3D human pose in the wild would provide valuable data for training pose estimation and motion generation methods. While video-based estimation approaches have become increasingly accurate, they often fail in common scenarios involving self-contact, such as a hand touching the face. In contrast, wearable bioimpedance sensing can cheaply and unobtrusively measure ground-truth skin-to-skin contact. Consequently, we propose a novel framework that combines visual pose estimators with bioimpedance sensing to capture the 3D pose of people by taking self-contact into account. Our method, BioTUCH, initializes the pose using an off-the-shelf estimator and introduces contact-aware pose optimization during measured self-contact: reprojection error and deviations from the input estimate are minimized while enforcing vertex proximity constraints. We validate our approach using a new dataset of synchronized RGB video, bioimpedance measurements, and 3D motion capture. Testing with three input pose estimators, we demonstrate an average of 11.7% improvement in reconstruction accuracy. We also present a miniature wearable bioimpedance sensor that enables efficient large-scale collection of contact-aware training data for improving pose estimation and generation using BioTUCH. Code and data are available at biotuch.is.tue.mpg.de