Benchmarking Skeleton-based Motion Encoder Models for Clinical Applications: Estimating Parkinson's Disease Severity in Walking Sequences

📄 arXiv: 2405.17817v2 📥 PDF

作者: Vida Adeli, Soroush Mehraban, Irene Ballester, Yasamin Zarghami, Andrea Sabo, Andrea Iaboni, Babak Taati

分类: cs.CV

发布日期: 2024-05-28 (更新: 2024-05-30)

期刊: IEEE International Conference on Automatic Face and Gesture Recognition (FG 2024)

💡 一句话要点

评估基于骨骼运动编码器模型在临床应用中的性能：帕金森病步态严重程度估计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 帕金森病 步态分析 运动编码器 骨骼运动 临床应用

📋 核心要点

  1. 现有方法在分析帕金森病步态等病理性运动时，缺乏对预训练人体运动编码器有效性的充分验证。
  2. 论文提出比较框架，评估多个预训练人体运动编码器模型预测帕金森病步态严重程度的能力。
  3. 实验结果表明，微调后的运动编码器模型在预测服药状态变化方面表现出潜力，并建立了临床应用基准。

📝 摘要（中文）

本研究旨在评估通用人体运动编码器在分析帕金森病（PD）患者步态模式中的应用。尽管这些模型已学习了大量人体生物力学知识，但其在分析病理性运动（如帕金森步态）方面的有效性尚未得到充分验证。我们提出了一个比较框架，并评估了六个预训练的先进人体运动编码器模型，以预测运动障碍协会统一帕金森病评定量表（MDS-UPDRS-III）的步态评分。我们将这些模型与基于传统步态特征的预测模型在最近发布的大型公共PD数据集上进行了比较，该数据集包括服药和未服药的PD患者。基于特征的模型目前显示出更高的加权平均准确率、精确率、召回率和F1分数。结果相近的运动编码器模型在临床环境中具有可扩展性和效率的潜力。在PD训练集上进行微调后，编码器模型的性能得到增强，突显了这种潜力。所检查的六个人体运动模型中有四个提供的预测分数在服药和未服药状态之间存在显着差异。这一发现揭示了运动编码器模型对细微临床变化的敏感性。它还强调需要继续定制这些模型，以更好地捕捉疾病特异性特征，从而减少对劳动密集型特征工程的依赖。最后，我们为临床环境中基于骨骼的运动编码器模型的分析建立了一个基准。据我们所知，这是第一个提供基准的研究，该基准使最先进的模型能够在临床环境中进行测试和竞争。

🔬 方法详解

问题定义：论文旨在解决帕金森病（PD）患者步态严重程度的自动评估问题。现有方法依赖于人工设计的步态特征，这些特征提取过程繁琐且可能无法捕捉到所有关键信息。预训练的人体运动编码器虽然学习了大量人体运动知识，但其在病理性步态分析中的有效性尚未得到充分验证。

核心思路：论文的核心思路是利用预训练的人体运动编码器，直接从骨骼运动数据中提取特征，并用于预测帕金森病步态的严重程度。通过比较不同编码器模型的性能，并与传统基于特征的方法进行对比，评估这些模型在临床应用中的潜力。此外，通过在PD数据集上进行微调，进一步提升编码器模型的性能。

技术框架：整体框架包括以下几个主要步骤：1）数据预处理：对原始运动捕捉数据进行清洗和标准化。2）特征提取：使用预训练的人体运动编码器（例如，Transformer、RNN等）从骨骼运动数据中提取特征向量。3）模型训练：使用提取的特征向量训练预测模型（例如，回归模型或分类模型），以预测MDS-UPDRS-III步态评分。4）模型评估：在测试集上评估模型的性能，并与基于传统特征的方法进行比较。

关键创新：论文的主要创新在于：1）系统性地评估了多个预训练人体运动编码器在帕金森病步态分析中的性能。2）建立了用于评估这些模型在临床环境中的基准。3）验证了通过在PD数据集上进行微调可以提升编码器模型的性能。4）揭示了运动编码器模型对细微临床变化的敏感性，例如服药状态的变化。

关键设计：论文的关键设计包括：1）选择了六个具有代表性的预训练人体运动编码器模型，涵盖了不同的网络结构和训练数据集。2）使用了MDS-UPDRS-III步态评分作为评估指标，该指标是临床上常用的帕金森病严重程度评估标准。3）采用了加权平均准确率、精确率、召回率和F1分数等指标来综合评估模型的性能。4）通过在PD数据集上进行微调，优化了编码器模型的参数，使其更适应帕金森病步态的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于特征的模型目前显示出更高的加权平均准确率、精确率、召回率和F1分数。但经过微调的运动编码器模型表现出接近的性能，并显示出在临床环境中可扩展性和效率的潜力。此外，四个运动模型能够区分服药和未服药状态，表明其对临床变化的敏感性。

🎯 应用场景

该研究成果可应用于帕金森病等运动障碍疾病的早期诊断、病情评估和治疗效果监测。通过自动分析患者的步态数据，可以减少对人工评估的依赖，提高诊断效率和准确性。此外，该方法还可以用于远程医疗和康复训练，为患者提供个性化的治疗方案。

📄 摘要（原文）

This study investigates the application of general human motion encoders trained on large-scale human motion datasets for analyzing gait patterns in PD patients. Although these models have learned a wealth of human biomechanical knowledge, their effectiveness in analyzing pathological movements, such as parkinsonian gait, has yet to be fully validated. We propose a comparative framework and evaluate six pre-trained state-of-the-art human motion encoder models on their ability to predict the Movement Disorder Society - Unified Parkinson's Disease Rating Scale (MDS-UPDRS-III) gait scores from motion capture data. We compare these against a traditional gait feature-based predictive model in a recently released large public PD dataset, including PD patients on and off medication. The feature-based model currently shows higher weighted average accuracy, precision, recall, and F1-score. Motion encoder models with closely comparable results demonstrate promise for scalability and efficiency in clinical settings. This potential is underscored by the enhanced performance of the encoder model upon fine-tuning on PD training set. Four of the six human motion models examined provided prediction scores that were significantly different between on- and off-medication states. This finding reveals the sensitivity of motion encoder models to nuanced clinical changes. It also underscores the necessity for continued customization of these models to better capture disease-specific features, thereby reducing the reliance on labor-intensive feature engineering. Lastly, we establish a benchmark for the analysis of skeleton-based motion encoder models in clinical settings. To the best of our knowledge, this is the first study to provide a benchmark that enables state-of-the-art models to be tested and compete in a clinical context. Codes and benchmark leaderboard are available at code.