Dispelling Four Challenges in Inertial Motion Tracking with One Recurrent Inertial Graph-based Estimator (RING)

📄 arXiv: 2409.02502v1 📥 PDF

作者: Simon Bachhuber, Ive Weygers, Thomas Seel

分类: cs.RO

发布日期: 2024-09-04

备注: Submitted to 12th IFAC Symposium on Biological and Medical Systems

💡 一句话要点

提出基于循环惯性图估计器（RING），解决惯性运动跟踪中的四大挑战

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 惯性运动跟踪 循环神经网络 图神经网络 零样本学习 运动捕捉

📋 核心要点

  1. 现有惯性运动跟踪方法难以应对非均匀磁场、传感器未对齐、传感器稀疏和非刚性连接等实际挑战。
  2. RING利用循环神经网络和图结构，从模拟数据中学习，实现对复杂运动的鲁棒估计，并具备零样本泛化能力。
  3. 实验表明，RING在同时存在四大挑战的情况下，仍能保持较高的跟踪精度，并可实时运行，具有实际应用潜力。

📝 摘要（中文）

本文扩展了循环惯性图估计器（RING），这是一种用于惯性运动跟踪（IMT）的新型基于神经网络的解决方案，使其能够泛化到更大范围的采样率。同时，证明了它可以克服四个现实世界的挑战：非均匀磁场、传感器与肢体的不对齐、稀疏的传感器设置以及非刚性传感器附着。RING能够从惯性数据中估计具有双铰链的三段运动链的旋转状态，并且在同时存在所有四个挑战的情况下，实现了8.10 +/- 1.19度的平均绝对跟踪误差。该网络在模拟数据上进行训练，但在实验数据上进行评估，突显了其从模拟到实验的卓越零样本泛化能力。我们进行了一项消融研究，以分析每个挑战对RING性能的影响，展示了其对不同采样率的鲁棒性，并证明了RING能够进行实时操作。这项研究不仅通过使其更易于访问和通用来推进IMT技术，而且还增强了其在新应用领域中的潜力，包括在非约束环境中非专业人员使用具有非刚性传感器附件的稀疏IMT。

🔬 方法详解

问题定义：论文旨在解决惯性运动跟踪（IMT）在实际应用中面临的四大挑战：非均匀磁场干扰、传感器与肢体的不对齐、传感器数量稀疏以及传感器非刚性连接。现有方法在应对这些挑战时，鲁棒性和精度会显著下降，限制了IMT技术的应用范围。

核心思路：论文的核心思路是利用深度学习的强大表征能力，通过在模拟数据上训练循环神经网络，使其能够学习到运动的内在规律，从而克服上述挑战。RING采用图结构来表示人体运动链，并利用循环神经网络来处理时序惯性数据，实现对运动状态的准确估计。这种方法的关键在于，通过模拟数据训练，网络可以学习到对噪声和误差的鲁棒性，从而实现从模拟到实验的零样本泛化。

技术框架：RING的整体框架包括以下几个主要模块：1）数据预处理：对原始惯性数据进行滤波和归一化处理。2）图结构构建：根据人体运动链的结构，构建相应的图结构，每个节点代表一个肢体，边代表关节连接。3）循环神经网络：使用循环神经网络（例如GRU或LSTM）来处理每个节点的惯性数据，并利用图神经网络来传递节点之间的信息。4）状态估计：根据循环神经网络的输出，估计每个节点的旋转状态。

关键创新：RING最重要的技术创新点在于其结合了循环神经网络和图结构，能够有效地处理时序惯性数据，并利用人体运动链的结构信息。此外，RING的零样本泛化能力也是一个重要的创新点，这意味着它可以在模拟数据上训练，并在实际实验数据上直接应用，无需进行额外的微调。

关键设计：RING的关键设计包括：1）图结构的构建方式，需要根据具体的运动链结构进行设计。2）循环神经网络的结构和参数，需要根据数据的特点进行调整。3）损失函数的设计，需要考虑跟踪精度和鲁棒性。论文中使用了平均绝对误差作为损失函数，并采用Adam优化器进行训练。网络输入为归一化的加速度计和陀螺仪数据，输出为四元数表示的旋转状态。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RING在同时存在非均匀磁场、传感器未对齐、传感器稀疏和非刚性连接四大挑战的情况下，仍能实现平均8.10 +/- 1.19度的跟踪精度。消融实验验证了每个挑战对性能的影响，并证明了RING对不同采样率的鲁棒性。此外，RING能够实时运行，使其具备实际应用价值。

🎯 应用场景

RING技术可应用于运动捕捉、步态分析、康复训练、虚拟现实和人机交互等领域。其对非理想环境的鲁棒性使其特别适用于户外运动监测、非专业人员的动作分析以及资源受限的嵌入式系统。未来，RING有望推动惯性运动跟踪技术在更广泛的场景中应用，并降低使用门槛。

📄 摘要（原文）

In this paper, we extend the Recurrent Inertial Graph-based Estimator (RING), a novel neural-network-based solution for Inertial Motion Tracking (IMT), to generalize across a large range of sampling rates, and we demonstrate that it can overcome four real-world challenges: inhomogeneous magnetic fields, sensor-to-segment misalignment, sparse sensor setups, and nonrigid sensor attachment. RING can estimate the rotational state of a three-segment kinematic chain with double hinge joints from inertial data, and achieves an experimental mean-absolute-(tracking)-error of 8.10 +/- 1.19 degrees if all four challenges are present simultaneously. The network is trained on simulated data yet evaluated on experimental data, highlighting its remarkable ability to zero-shot generalize from simulation to experiment. We conduct an ablation study to analyze the impact of each of the four challenges on RING's performance, we showcase its robustness to varying sampling rates, and we demonstrate that RING is capable of real-time operation. This research not only advances IMT technology by making it more accessible and versatile but also enhances its potential for new application domains including non-expert use of sparse IMT with nonrigid sensor attachments in unconstrained environments.