Intelligent Knee Sleeves: A Real-time Multimodal Dataset for 3D Lower Body Motion Estimation Using Smart Textile
作者: Wenwen Zhang, Arvin Tashakori, Zenan Jiang, Amir Servati, Harishkumar Narayana, Saeid Soltanian, Rou Yi Yeap, Meng Han Ma, Lauren Toy, Peyman Servati
分类: cs.CV, cs.AI
发布日期: 2023-10-02
备注: Accepted by Thirty-seventh Conference on Neural Information Processing Systems (Neurips) D&B Track
💡 一句话要点
提出智能膝盖护套以解决3D下肢运动估计问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能膝盖护套 多模态数据集 运动估计 可穿戴设备 机器学习 运动捕捉 3D模型生成
📋 核心要点
- 现有方法在运动捕捉中依赖视觉系统，容易受到遮挡和视野限制，影响准确性。
- 论文提出了一种基于智能膝盖护套的多模态数据集，通过可穿戴设备实现无摄像头的人体姿态估计。
- 实验结果表明，系统在八个下肢关节的平均误差为7.21度，展示了其在运动估计中的有效性。
📝 摘要（中文）
人类运动和步态的运动学与肌肉的激活和收缩密切相关。为此，我们提出了一种多模态数据集，利用一对智能膝盖护套（Texavie MarsWear Knee Sleeves）进行人类姿态估计。我们的系统利用同步数据集，包括来自膝盖护套的时间序列数据和来自运动捕捉摄像系统的真实标签。通过这些数据，我们生成了基于可穿戴设备的3D人类模型，评估各种运动和锻炼的效果。结果显示，与真实值相比，八个下肢关节的平均误差为7.21度，表明该系统在不同下肢关节的预测中具有有效性和可靠性。我们的研究展示了多模态可穿戴传感技术在家庭健身、体育、医疗和物理康复等多种应用中的潜力。
🔬 方法详解
问题定义：本论文旨在解决传统运动捕捉方法依赖视觉系统的问题，这些方法在遮挡和视野限制下容易导致准确性下降。
核心思路：通过智能膝盖护套收集多模态数据，结合机器学习算法，实现无摄像头的3D下肢运动估计，提升运动分析的灵活性和准确性。
技术框架：系统主要包括数据采集模块（智能膝盖护套）、数据同步模块（与运动捕捉系统对比）、数据处理模块（生成3D模型）和评估模块（运动分析）。
关键创新：该研究的创新点在于使用可穿戴设备替代传统摄像头，克服了视觉遮挡问题，提供了一种新的运动估计方法。
关键设计：在参数设置上，采用了适应性损失函数以提高模型的鲁棒性，网络结构上则结合了时间序列分析与空间特征提取的深度学习模型。
🖼️ 关键图片
📊 实验亮点
实验结果显示，系统在八个下肢关节的平均误差为7.21度，相较于传统方法有显著提升，展示了其在多种运动和锻炼中的有效性，特别是在未见过的运动和个体中。
🎯 应用场景
该研究的潜在应用领域包括家庭健身、体育训练、医疗监测和物理康复等。通过提供无摄像头的运动估计方案，能够在多种环境中实现实时监测和反馈，提升用户体验和运动效果。
📄 摘要（原文）
The kinematics of human movements and locomotion are closely linked to the activation and contractions of muscles. To investigate this, we present a multimodal dataset with benchmarks collected using a novel pair of Intelligent Knee Sleeves (Texavie MarsWear Knee Sleeves) for human pose estimation. Our system utilizes synchronized datasets that comprise time-series data from the Knee Sleeves and the corresponding ground truth labels from the visualized motion capture camera system. We employ these to generate 3D human models solely based on the wearable data of individuals performing different activities. We demonstrate the effectiveness of this camera-free system and machine learning algorithms in the assessment of various movements and exercises, including extension to unseen exercises and individuals. The results show an average error of 7.21 degrees across all eight lower body joints when compared to the ground truth, indicating the effectiveness and reliability of the Knee Sleeve system for the prediction of different lower body joints beyond the knees. The results enable human pose estimation in a seamless manner without being limited by visual occlusion or the field of view of cameras. Our results show the potential of multimodal wearable sensing in a variety of applications from home fitness to sports, healthcare, and physical rehabilitation focusing on pose and movement estimation.