Shape-aware Inertial Poser: Motion Tracking for Humans with Diverse Shapes Using Sparse Inertial Sensors

📄 arXiv: 2510.17101v1 📥 PDF

作者: Lu Yin, Ziying Shi, Yinghao Wu, Xinyu Yi, Feng Xu, Shihui Guo

分类: cs.GR, cs.CV

发布日期: 2025-10-20

备注: Accepted by SIGGRAPH Asia 2025 (TOG)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Shape-aware Inertial Poser，解决稀疏惯性传感器人体动作捕捉中体型泛化问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 人体动作捕捉 惯性传感器 体型感知 机器学习 回归模型

📋 核心要点

  1. 现有基于稀疏惯性传感器的人体动作捕捉方法难以泛化到不同体型的人，尤其是在儿童身上表现不佳。
  2. SAIP通过解耦传感器测量值中与体型和姿态相关的信息，并分别建模，从而实现体型感知的动作捕捉。
  3. SAIP在包含成人和儿童的数据集上进行了验证，证明了其在不同体型上的有效性，并提供了新的数据集。

📝 摘要（中文）

本文提出Shape-aware Inertial Poser (SAIP)，旨在解决稀疏惯性传感器人体动作捕捉中，现有方法难以泛化到不同体型个体（如儿童）的问题。现有方法主要依赖于模板成人体型建模训练数据，忽略了体型变化导致的IMU测量加速度差异。SAIP通过解耦与体型和姿态相关的传感器测量值，有效建模它们的联合相关性。首先，训练回归模型将真实体型的IMU加速度转换为模板成人体型，补偿体型相关的传感器测量值。然后，采用现有方法估计模板体型的全身运动。接着，利用第二个回归模型将关节速度映射回真实体型，并结合体型感知的物理优化策略计算全局运动。此外，SAIP引入了惯性形状估计方案，通过MLP网络建模体型条件下的IMU-姿态相关性。最后，构建包含不同体型个体（儿童和成人）的IMU动作捕捉数据集验证SAIP的有效性。

🔬 方法详解

问题定义：现有基于稀疏惯性传感器的人体动作捕捉方法，通常依赖于模板成人体型进行训练，忽略了不同体型（尤其是儿童）带来的IMU测量加速度差异，导致泛化能力差。因此，需要解决如何使动作捕捉系统适应不同体型个体的问题。

核心思路：SAIP的核心思路是将IMU传感器测量值中与体型和姿态相关的信息解耦，分别进行建模。具体来说，首先将真实体型的IMU测量值转换到模板成人体型，然后利用现有方法进行姿态估计，最后将姿态信息映射回真实体型。这样可以有效地消除体型差异对姿态估计的影响。

技术框架：SAIP的整体框架包含以下几个主要模块：1) 体型相关的传感器测量补偿模块：使用回归模型将真实体型的IMU加速度转换为模板成人体型。2) 姿态估计模块：使用现有方法估计模板体型的全身运动。3) 关节速度映射模块：使用回归模型将关节速度映射回真实体型。4) 全局运动计算模块：结合体型感知的物理优化策略计算全局运动。5) 惯性形状估计模块：使用MLP网络建模体型条件下的IMU-姿态相关性，用于估计体型参数。

关键创新：SAIP的关键创新在于：1) 提出了体型感知的动作捕捉方法，能够有效处理不同体型个体。2) 引入了惯性形状估计方案，能够根据IMU数据估计体型参数。3) 构建了包含不同体型个体（儿童和成人）的IMU动作捕捉数据集。

关键设计：1) 使用两个回归模型分别进行IMU加速度和关节速度的映射，以消除体型差异的影响。2) 采用体型感知的物理优化策略，保证全局运动的合理性。3) 使用MLP网络建模体型条件下的IMU-姿态相关性，用于形状估计。损失函数的设计需要同时考虑姿态估计的准确性和形状估计的合理性。具体参数设置在论文中有详细描述，例如网络结构、学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAIP在包含10名儿童和10名成人的数据集上进行了验证，身高范围从110厘米到190厘米，总共400分钟的配对IMU-Motion样本。实验结果表明，SAIP能够有效地处理不同体型的动作捕捉任务，相较于现有方法，在儿童体型上的动作捕捉精度有显著提升（具体数值未知，需参考论文）。该数据集的发布也为相关研究提供了宝贵资源。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、动画制作、运动分析、康复训练等领域。通过SAIP，可以实现对不同体型个体的精确动作捕捉，从而提高用户体验和应用效果。例如，在儿童游戏中，可以捕捉儿童的真实动作，并将其映射到游戏角色中，增强游戏的互动性和趣味性。在康复训练中，可以监测患者的运动姿态，评估康复效果。

📄 摘要（原文）

Human motion capture with sparse inertial sensors has gained significant attention recently. However, existing methods almost exclusively rely on a template adult body shape to model the training data, which poses challenges when generalizing to individuals with largely different body shapes (such as a child). This is primarily due to the variation in IMU-measured acceleration caused by changes in body shape. To fill this gap, we propose Shape-aware Inertial Poser (SAIP), the first solution considering body shape differences in sparse inertial-based motion capture. Specifically, we decompose the sensor measurements related to shape and pose in order to effectively model their joint correlations. Firstly, we train a regression model to transfer the IMU-measured accelerations of a real body to match the template adult body model, compensating for the shape-related sensor measurements. Then, we can easily follow the state-of-the-art methods to estimate the full body motions of the template-shaped body. Finally, we utilize a second regression model to map the joint velocities back to the real body, combined with a shape-aware physical optimization strategy to calculate global motions on the subject. Furthermore, our method relies on body shape awareness, introducing the first inertial shape estimation scheme. This is accomplished by modeling the shape-conditioned IMU-pose correlation using an MLP-based network. To validate the effectiveness of SAIP, we also present the first IMU motion capture dataset containing individuals of different body sizes. This dataset features 10 children and 10 adults, with heights ranging from 110 cm to 190 cm, and a total of 400 minutes of paired IMU-Motion samples. Extensive experimental results demonstrate that SAIP can effectively handle motion capture tasks for diverse body shapes. The code and dataset are available at https://github.com/yinlu5942/SAIP.