Improving Global Motion Estimation in Sparse IMU-based Motion Capture with Physics

📄 arXiv: 2505.05010v1 📥 PDF

作者: Xinyu Yi, Shaohua Pan, Feng Xu

分类: cs.GR

发布日期: 2025-05-08

备注: Accepted by SIGGRAPH 2025. Project Page:https://xinyu-yi.github.io/GlobalPose/

💡 一句话要点

提出基于物理优化的稀疏IMU人体运动捕捉方法，提升全局运动估计精度。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动捕捉 惯性测量单元 物理优化 全局运动估计 深度学习 人体运动分析 多重接触 重力约束

📋 核心要点

  1. 现有基于稀疏IMU的运动捕捉方法难以准确重建人体全局运动，尤其是在z轴方向。
  2. 该方法通过引入物理优化，利用多重接触约束和重力信息，提升全局运动估计的物理合理性。
  3. 实验结果表明，该方法在局部姿态和全局运动捕捉方面均优于现有方法，并能估计接触力等物理量。

📝 摘要（中文）

近年来，随着深度学习技术的发展，仅使用6个惯性测量单元（IMU）即可实现人体运动捕捉，即使传感器输入稀疏且噪声较大。然而，人体全局运动的重建仍然具有挑战性。本文旨在通过引入物理学来解决这个问题。提出了一种基于多重接触的物理优化方案，以实现完整3D空间中物理上合理的平移估计，其中z方向的运动通常是先前工作的难点。此外，还在局部姿态估计中考虑了重力，从而很好地约束了人体全局方向，并在联合估计中细化了局部姿态估计。实验表明，该方法实现了更准确的局部姿态和全局运动的运动捕捉。更重要的是，通过深度整合物理学，还可以估计3D接触、接触力、关节扭矩和交互代理表面。

🔬 方法详解

问题定义：论文旨在解决基于稀疏IMU（6个）的人体运动捕捉中，全局运动估计不准确的问题。现有方法在重建全局运动，特别是z轴方向的运动时，容易出现漂移和不真实的运动。这是因为稀疏的IMU数据难以提供足够的约束，并且缺乏对物理规律的有效利用。

核心思路：论文的核心思路是将物理学知识融入到运动捕捉过程中，通过物理优化来约束和校正IMU数据驱动的运动估计。具体来说，利用人体与环境的多重接触关系，以及重力对人体运动的影响，构建物理约束条件，从而提高全局运动估计的准确性和物理合理性。

技术框架：整体框架包含以下几个主要模块：1) 基于IMU数据的局部姿态估计；2) 基于多重接触的物理优化，用于估计全局平移；3) 基于重力的全局方向约束和局部姿态细化；4) 联合估计框架，同时优化局部姿态和全局运动。该框架通过迭代优化，不断提高运动捕捉的精度和物理合理性。

关键创新：最重要的技术创新点在于将物理优化与深度学习方法相结合，用于解决稀疏IMU运动捕捉中的全局运动估计问题。与现有方法相比，该方法不仅依赖于数据驱动的运动先验，还充分利用了物理规律的约束作用，从而提高了运动捕捉的鲁棒性和准确性。此外，该方法还能估计接触力、关节扭矩等物理量，为更深入的人体运动分析提供了可能。

关键设计：在物理优化方面，论文设计了基于多重接触的能量函数，用于约束全局平移。该能量函数考虑了接触点的位置、接触力的方向和大小等因素。在全局方向约束方面，论文利用重力方向作为参考，设计了相应的损失函数，用于约束人体全局方向的漂移。此外，论文还采用了联合估计框架，同时优化局部姿态和全局运动，从而实现更准确的运动捕捉。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在全局运动估计的准确性方面显著优于现有方法。具体来说，在公开数据集上，该方法在全局位置误差和全局方向误差方面均取得了明显的降低。此外，该方法还能估计出合理的接触力、关节扭矩等物理量，验证了其物理合理性。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、动画制作、运动分析、康复训练等领域。通过更准确的运动捕捉，可以提升虚拟体验的真实感和沉浸感，为运动分析提供更可靠的数据，并为康复训练提供更有效的指导。

📄 摘要（原文）

By learning human motion priors, motion capture can be achieved by 6 inertial measurement units (IMUs) in recent years with the development of deep learning techniques, even though the sensor inputs are sparse and noisy. However, human global motions are still challenging to be reconstructed by IMUs. This paper aims to solve this problem by involving physics. It proposes a physical optimization scheme based on multiple contacts to enable physically plausible translation estimation in the full 3D space where the z-directional motion is usually challenging for previous works. It also considers gravity in local pose estimation which well constrains human global orientations and refines local pose estimation in a joint estimation manner. Experiments demonstrate that our method achieves more accurate motion capture for both local poses and global motions. Furthermore, by deeply integrating physics, we can also estimate 3D contact, contact forces, joint torques, and interacting proxy surfaces.