Motion Capture from Inertial and Vision Sensors

📄 arXiv: 2407.16341v3 📥 PDF

作者: Xiaodong Chen, Wu Liu, Qian Bao, Xinchen Liu, Ruoli Dai, Yongdong Zhang, Tao Mei

分类: cs.CV

发布日期: 2024-07-23 (更新: 2025-10-11)

备注: 10 pages,8 figures

💡 一句话要点

提出MINIONS数据集和SparseNet框架，实现基于惯性和视觉传感器的低成本人体运动捕捉。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人体运动捕捉 惯性传感器 视觉传感器 多模态融合 数据集 深度学习 SparseNet

📋 核心要点

  1. 现有动捕系统成本高昂或操作复杂，难以满足个人应用需求，如何利用低成本传感器实现精准动捕是核心问题。
  2. 论文提出MINIONS数据集和SparseNet框架，旨在融合单目相机视觉信息和少量IMU惯性数据，实现低成本高精度人体运动捕捉。
  3. 实验结果验证了惯性和视觉传感器的互补性，展示了SparseNet在低成本动捕方面的潜力，并为未来研究提供了数据集。

📝 摘要（中文）

人体运动捕捉是计算机视觉和图形学的基础。虽然使用复杂相机阵列或昂贵可穿戴传感器的工业级动捕系统已广泛应用于电影和游戏制作，但面向个人应用的、经济易用的解决方案仍不成熟。本文提出了MINIONS，一个大规模的运动捕捉数据集，它采集自惯性传感器和视觉传感器。MINIONS具有以下特点：1) 大规模，超过五百万帧和400分钟时长；2) 多模态数据，包含IMU信号和RGB视频，并标注了关节位置、关节旋转、SMPL参数等；3) 包含146个细粒度的单人和交互动作，并附有文本描述。基于MINIONS数据集，本文提出了SparseNet框架，通过挖掘IMU和视频的互补特征，探索使用单目相机和少量IMU进行低成本运动捕捉的可能性。实验结果强调了惯性和视觉传感器的独特优势，展示了低成本多模态运动捕捉的前景，并为进一步的研究和开发提供了宝贵的资源。

🔬 方法详解

问题定义：论文旨在解决使用低成本的单目相机和少量惯性测量单元（IMU）进行准确的人体运动捕捉问题。现有方法要么依赖于昂贵的设备和复杂的设置，要么在精度上有所欠缺，无法满足日常个人应用的需求。

核心思路：论文的核心思路是利用视觉信息和惯性信息的互补性。视觉信息提供全局的身体姿态信息，而惯性信息则提供局部的运动细节和方向信息。通过融合这两种模态的信息，可以克服各自的局限性，实现更准确的运动捕捉。

技术框架：整体框架包含数据采集和模型训练两个主要阶段。首先，利用MINIONS数据集进行模型训练。然后，SparseNet框架接收IMU数据和视频数据作为输入，通过特征提取和融合，预测人体姿态。框架可能包含以下模块：IMU特征提取模块、视觉特征提取模块、特征融合模块和姿态估计模块。

关键创新：论文的关键创新在于提出了SparseNet框架，该框架能够有效地融合来自视觉和惯性传感器的稀疏信息。此外，MINIONS数据集的构建也为相关研究提供了宝贵的资源。SparseNet通过特定的网络结构设计，能够更好地利用两种模态的互补信息，从而提高运动捕捉的精度。

关键设计：论文可能采用了特定的损失函数来优化模型，例如，姿态估计的损失函数、IMU数据和视觉数据一致性的损失函数等。网络结构的设计可能包括注意力机制，用于自适应地调整不同模态信息的权重。具体的参数设置和网络结构细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了MINIONS数据集，包含超过五百万帧和400分钟时长的多模态数据，为相关研究提供了宝贵的资源。SparseNet框架通过融合IMU和视频信息，实现了更准确的运动捕捉。虽然具体的性能数据和对比基线需要在论文中查找，但该研究展示了低成本多模态运动捕捉的巨大潜力。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、运动分析、康复训练等领域。低成本、易于使用的动捕系统能够让更多人体验到高质量的运动捕捉技术，促进相关产业的发展。未来，该技术有望应用于智能家居、人机交互等更广泛的场景。

📄 摘要（原文）

Human motion capture is the foundation for many computer vision and graphics tasks. While industrial motion capture systems with complex camera arrays or expensive wearable sensors have been widely adopted in movie and game production, consumer-affordable and easy-to-use solutions for personal applications are still far from mature. To utilize a mixture of a monocular camera and very few inertial measurement units (IMUs) for accurate multi-modal human motion capture in daily life, we contribute MINIONS in this paper, a large-scale Motion capture dataset collected from INertial and visION Sensors. MINIONS has several featured properties: 1) large scale of over five million frames and 400 minutes duration; 2) multi-modality data of IMUs signals and RGB videos labeled with joint positions, joint rotations, SMPL parameters, etc.; 3) a diverse set of 146 fine-grained single and interactive actions with textual descriptions. With the proposed MINIONS dataset, we propose a SparseNet framework to capture human motion from IMUs and videos by discovering their supplementary features and exploring the possibilities of consumer-affordable motion capture using a monocular camera and very few IMUs. The experiment results emphasize the unique advantages of inertial and vision sensors, showcasing the promise of consumer-affordable multi-modal motion capture and providing a valuable resource for further research and development.