VidSole: A Multimodal Dataset for Joint Kinetics Quantification and Disease Detection with Deep Learning

📄 arXiv: 2501.17890v1 📥 PDF

作者: Archit Kambhamettu, Samantha Snyder, Maliheh Fakhar, Samuel Audia, Ross Miller, Jae Kun Shim, Aniket Bera

分类: cs.CV, eess.SP

发布日期: 2025-01-28

备注: Accepted by AAAI 2025 Special Track on AI for Social Impact

💡 一句话要点

VidSole：构建多模态数据集，结合深度学习进行步态疾病检测与动力学量化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 步态分析 膝关节内收力矩 深度学习 仪器化鞋垫 运动捕捉 生物力学

📋 核心要点

  1. 现有测量关节风险因素的方法耗时、昂贵，且仅限于实验室环境，难以进行大规模应用。
  2. 论文提出一种基于新型仪器化鞋垫和多模态数据集VidSole的低成本、大规模关节负荷生物力学分析方法。
  3. 实验结果表明，该方法在活动分类和KAM估计方面表现出色，验证了数据集的有效性和临床应用潜力。

📝 摘要（中文）

本文旨在通过大规模、低成本的方式进行关节负荷的生物力学分析，以诊断与步态相关的疾病，如膝骨关节炎。为此，本文做出了三项关键贡献：开发并部署了新型的仪器化鞋垫；创建了一个大型多模态生物力学数据集（VidSole）；以及构建了一个基准深度学习流程来预测内部关节负荷因子。该仪器化鞋垫能够测量足底五个高压点的三轴力和力矩。VidSole数据集包含由这些鞋垫测量的力和力矩，以及来自两个视角的RGB视频、3D人体运动捕捉数据和测力板数据，涵盖了52名不同参与者进行的2600多次日常活动（坐到站、站到坐、行走和跑步）。研究人员将鞋垫数据和可从视频中提取的运动学参数（如姿势、膝关节角度）输入到一个深度学习流程中，该流程由一个集成的门控循环单元（GRU）活动分类器和特定活动的长期短期记忆（LSTM）回归网络组成，用于估计膝关节内收力矩（KAM），这是膝骨关节炎的生物力学风险因素。活动分类的准确率达到99.02%，KAM估计的平均绝对误差（MAE）小于0.5%体重身高，达到了当前使用KAM准确检测膝骨关节炎的阈值，证明了该数据集对未来研究和临床应用的价值。

🔬 方法详解

问题定义：论文旨在解决关节负荷难以大规模、低成本量化的问题，现有方法主要依赖于实验室环境下的昂贵设备和耗时操作，限制了其在临床诊断和步态疾病研究中的应用。因此，如何利用可穿戴设备和多模态数据，实现对关节负荷的准确、便捷估计是本研究的核心问题。

核心思路：论文的核心思路是利用新型仪器化鞋垫收集足底压力数据，结合视频和运动捕捉数据，构建一个多模态数据集。然后，利用深度学习模型学习这些数据之间的关联，从而实现对膝关节内收力矩（KAM）等关键生物力学参数的准确估计。这种方法旨在降低成本、提高效率，并扩展到日常活动场景。

技术框架：整体框架包含数据采集和模型训练两个主要阶段。数据采集阶段使用仪器化鞋垫、RGB视频、3D运动捕捉系统和测力板同步采集数据。模型训练阶段首先使用GRU网络进行活动分类，然后针对不同活动，使用LSTM网络进行KAM回归预测。整个流程旨在利用多模态数据互补的优势，提高KAM估计的准确性。

关键创新：论文的关键创新在于：1) 设计并部署了新型仪器化鞋垫，能够测量足底多个高压点的三轴力和力矩；2) 构建了大规模多模态生物力学数据集VidSole，包含多种日常活动和丰富的参与者数据；3) 提出了一个基于GRU和LSTM的深度学习流程，能够有效利用多模态数据进行KAM估计。

关键设计：在模型设计方面，采用了集成GRU进行活动分类，以提高分类的准确性。针对不同活动，分别训练LSTM回归模型，以提高KAM估计的精度。损失函数采用均方误差（MSE），优化器采用Adam。具体的网络结构和参数设置（如LSTM的层数、隐藏单元数等）未知，可能需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在活动分类方面达到了99.02%的准确率，在KAM估计方面，平均绝对误差（MAE）小于0.5%体重身高，达到了当前使用KAM准确检测膝骨关节炎的阈值。这些结果表明，该数据集和深度学习流程具有较高的实用价值，为未来的研究和临床应用奠定了基础。

🎯 应用场景

该研究成果可应用于步态疾病的早期诊断、康复治疗效果评估、运动训练优化等方面。通过可穿戴设备和深度学习技术，可以实现对关节负荷的实时监测和分析，为个性化医疗和运动指导提供数据支持。未来，该技术有望推广到更广泛的运动健康领域，提升人们的生活质量。

📄 摘要（原文）

Understanding internal joint loading is critical for diagnosing gait-related diseases such as knee osteoarthritis; however, current methods of measuring joint risk factors are time-consuming, expensive, and restricted to lab settings. In this paper, we enable the large-scale, cost-effective biomechanical analysis of joint loading via three key contributions: the development and deployment of novel instrumented insoles, the creation of a large multimodal biomechanics dataset (VidSole), and a baseline deep learning pipeline to predict internal joint loading factors. Our novel instrumented insole measures the tri-axial forces and moments across five high-pressure points under the foot. VidSole consists of the forces and moments measured by these insoles along with corresponding RGB video from two viewpoints, 3D body motion capture, and force plate data for over 2,600 trials of 52 diverse participants performing four fundamental activities of daily living (sit-to-stand, stand-to-sit, walking, and running). We feed the insole data and kinematic parameters extractable from video (i.e., pose, knee angle) into a deep learning pipeline consisting of an ensemble Gated Recurrent Unit (GRU) activity classifier followed by activity-specific Long Short Term Memory (LSTM) regression networks to estimate knee adduction moment (KAM), a biomechanical risk factor for knee osteoarthritis. The successful classification of activities at an accuracy of 99.02 percent and KAM estimation with mean absolute error (MAE) less than 0.5 percentbody weightheight, the current threshold for accurately detecting knee osteoarthritis with KAM, illustrates the usefulness of our dataset for future research and clinical settings.