GAITGen: Disentangled Motion-Pathology Impaired Gait Generative Model -- Bringing Motion Generation to the Clinical Domain
作者: Vida Adeli, Soroush Mehraban, Majid Mirmehdi, Alan Whone, Benjamin Filtjens, Amirhossein Dadashzadeh, Alfonso Fasano, Andrea Iaboni, Babak Taati
分类: cs.CV
发布日期: 2025-03-28 (更新: 2025-11-12)
备注: Accepted at the IEEE/CVF winter conference on applications of computer vision (WACV 2026)
💡 一句话要点
GAITGen：解耦运动-病理步态生成模型，推动运动生成进入临床领域
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 步态分析 生成模型 帕金森病 运动障碍 解耦表示 条件生成 临床应用
📋 核心要点
- 现有帕金森步态分析模型受限于临床数据稀缺和标注困难，导致模型精度和泛化能力不足。
- GAITGen通过解耦运动动力学和病理因素，利用条件生成模型生成不同严重程度的逼真步态序列。
- 实验表明，GAITGen在步态重建和生成质量上优于现有模型，并能提升下游帕金森步态严重程度估计的准确性。
📝 摘要（中文）
步态分析对于诊断和监测帕金森病等运动障碍至关重要。虽然计算机视觉模型在客观评估帕金森步态方面显示出潜力，但其有效性受到临床数据集稀缺以及收集大型且良好标记数据的挑战的限制，从而影响模型准确性和偏差风险。为了解决这些差距，我们提出了GAITGen，这是一个新颖的框架，可以生成以指定病理严重程度水平为条件的逼真步态序列。GAITGen采用条件残差向量量化变分自编码器来学习运动动力学和病理特异性因素的解耦表示，并结合Mask和Residual Transformer进行条件序列生成。GAITGen生成跨严重程度水平的逼真、多样化的步态序列，丰富数据集，并支持帕金森步态分析中的大规模模型训练。在我们新的PD-GaM（真实）数据集上的实验表明，GAITGen在重建保真度和生成质量方面均优于最先进的模型，准确地捕捉了关键的病理特异性步态特征。临床用户研究证实了我们生成的序列的真实性和临床相关性。此外，将GAITGen生成的数据纳入下游任务可以提高帕金森步态严重程度的估计，突显了其在推进临床步态分析方面的潜力。
🔬 方法详解
问题定义：论文旨在解决帕金森步态分析中数据稀缺的问题。现有方法依赖于有限的临床数据集，导致模型训练不足，泛化能力差，且容易产生偏差。因此，需要一种方法来生成高质量的合成步态数据，以扩充训练集，提高模型的鲁棒性和准确性。
核心思路：论文的核心思路是利用生成模型，学习步态数据的潜在表示，并解耦运动动力学和病理特异性因素。通过控制病理因素，可以生成不同严重程度的步态序列，从而扩充数据集。这种解耦表示使得模型能够更好地理解步态数据的内在结构，并生成更逼真的合成数据。
技术框架：GAITGen框架主要包含两个阶段：表示学习和序列生成。在表示学习阶段，使用条件残差向量量化变分自编码器（CR-VQ-VAE）学习步态数据的解耦表示，将运动动力学和病理因素分离。在序列生成阶段，使用Mask和Residual Transformer，以病理严重程度为条件，生成步态序列。整体流程为：输入真实步态数据，通过CR-VQ-VAE学习潜在表示，然后使用Transformer生成新的步态序列。
关键创新：GAITGen的关键创新在于：1) 使用CR-VQ-VAE学习解耦表示，能够有效分离运动动力学和病理因素；2) 使用Mask和Residual Transformer进行条件序列生成，能够生成高质量的步态序列；3) 提出了PD-GaM数据集，用于评估模型的性能。与现有方法相比，GAITGen能够生成更逼真、更多样化的步态序列，并且能够更好地控制生成数据的病理严重程度。
关键设计：CR-VQ-VAE使用残差连接和向量量化来提高表示学习的质量。Mask Transformer使用Mask机制来防止信息泄露，Residual Transformer使用残差连接来提高模型的训练效率。损失函数包括重建损失、KL散度和量化损失，用于优化模型的参数。PD-GaM数据集包含真实帕金森患者的步态数据，以及对应的病理严重程度标签。
🖼️ 关键图片
📊 实验亮点
GAITGen在PD-GaM数据集上取得了显著的实验结果。在重建保真度和生成质量方面，GAITGen优于现有的最先进模型。临床用户研究表明，GAITGen生成的步态序列具有很高的真实性和临床相关性。将GAITGen生成的数据用于训练下游帕金森步态严重程度估计模型，显著提高了模型的准确性，证明了GAITGen在临床应用中的潜力。
🎯 应用场景
GAITGen可应用于帕金森病等运动障碍的诊断、监测和治疗。通过生成大量合成步态数据，可以训练更准确、更鲁棒的步态分析模型，辅助医生进行疾病诊断和严重程度评估。此外，生成的数据还可以用于开发个性化的康复方案，提高患者的生活质量。未来，该技术有望推广到其他运动障碍疾病的步态分析中。
📄 摘要（原文）
Gait analysis is crucial for the diagnosis and monitoring of movement disorders like Parkinson's Disease. While computer vision models have shown potential for objectively evaluating parkinsonian gait, their effectiveness is limited by scarce clinical datasets and the challenge of collecting large and well-labelled data, impacting model accuracy and risk of bias. To address these gaps, we propose GAITGen, a novel framework that generates realistic gait sequences conditioned on specified pathology severity levels. GAITGen employs a Conditional Residual Vector Quantized Variational Autoencoder to learn disentangled representations of motion dynamics and pathology-specific factors, coupled with Mask and Residual Transformers for conditioned sequence generation. GAITGen generates realistic, diverse gait sequences across severity levels, enriching datasets and enabling large-scale model training in parkinsonian gait analysis. Experiments on our new PD-GaM (real) dataset demonstrate that GAITGen outperforms adapted state-of-the-art models in both reconstruction fidelity and generation quality, accurately capturing critical pathology-specific gait features. A clinical user study confirms the realism and clinical relevance of our generated sequences. Moreover, incorporating GAITGen-generated data into downstream tasks improves parkinsonian gait severity estimation, highlighting its potential for advancing clinical gait analysis.