3rd Place Solution to Human Motion Challenges in Real-World and Clinical Settings (MoCha) @ECCV2026: Language-Aligned Motion Representations for Domain-Generalizable UPDRS-Gait Severity Estimation

📄 arXiv: 2609.10187v1 📥 PDF

作者: Soojie Kim, Muhammad Munsif, Minkyung Kim, Seungryul Baek

分类: cs.CV

发布日期: 2026-09-09

备注: 3rd Place Solution to the MoCha 2026 Challenge at ECCV 2026

💡 一句话要点

提出语言对齐运动表示以解决UPDRS步态严重性估计问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 运动表示 UPDRS步态估计 领域通用性 Bi-GRU 语言对齐 类别不平衡 伪标注 临床应用

📋 核心要点

  1. 现有方法在不同临床领域的UPDRS步态严重性估计中存在类别不平衡和特征泛化不足的问题。
  2. 本研究提出了一种基于语言对齐的运动表示学习方法，结合Bi-GRU网络和文本对齐目标，增强模型的语义理解能力。
  3. 在MoCha挑战中，我们的模型在隐藏测试集上取得了0.57的宏F1分数，展示了良好的领域通用性和较少的参数使用。

📝 摘要（中文）

本研究提出了一种语言对齐的运动表示方法，用于领域通用的UPDRS步态严重性估计，旨在学习跨异质临床领域的语义结构化运动特征。我们首先使用Bi-GRU骨干网络学习运动表示，捕捉SMPL序列的时间动态。在模型训练之前，利用Qwen2.5-7B-Instruct离线生成运动描述。然后，骨干网络通过分类和文本对齐目标进行训练，以学习具有辨别性和语义结构的运动表示，同时考虑训练数据中的类别不平衡。接着，我们将学习到的骨干网络独立适应每个源领域，以捕捉领域特定的运动特征。最终，源特定模型在参数级别合并，以整合跨源领域的互补知识，形成单一的领域通用模型。我们的模型在MoCha挑战的未见场景下进行评估，使用Macro F1作为主要评估指标，最终在隐藏测试集上取得了0.57的宏F1分数，排名第三。

🔬 方法详解

问题定义：本研究旨在解决UPDRS步态严重性估计中的类别不平衡和特征泛化不足的问题。现有方法在不同临床领域的应用效果不佳，难以捕捉领域特定的运动特征。

核心思路：我们提出了一种语言对齐的运动表示学习方法，通过Bi-GRU网络捕捉时间动态，并结合文本对齐目标，增强模型的语义结构化能力，从而提高模型在不同领域的泛化能力。

技术框架：整体架构包括运动表示学习、离线运动描述生成、模型训练和源特定模型合并四个主要模块。首先生成运动描述，然后训练Bi-GRU骨干网络，最后合并不同源领域的模型以形成领域通用模型。

关键创新：本研究的主要创新在于引入语言对齐的运动表示学习方法，能够有效捕捉运动特征的语义结构，并通过参数级别的模型合并实现跨领域知识整合。这一方法与传统的单一领域模型相比，显著提升了模型的泛化能力。

关键设计：在模型训练中，我们使用了分类和文本对齐的损失函数，以应对类别不平衡问题。同时，采用GPT-5.5进行伪标注，确保最终合并模型在推理时不依赖于类别先验修正。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MoCha挑战中，我们的模型在隐藏测试集上取得了0.57的宏F1分数，排名第三，展示了在637K活跃参数下的高效性能。该挑战共吸引了1,669个提交，显示了我们方法的竞争力和有效性。

🎯 应用场景

该研究的潜在应用领域包括临床步态分析、老年人运动能力评估以及神经系统疾病的监测。通过准确估计UPDRS步态严重性，能够为临床医生提供更有效的决策支持，改善患者的治疗效果。未来，该方法可能在其他运动分析领域得到推广，推动智能医疗的发展。

📄 摘要（原文）

In this work, we introduce language-aligned motion representations for domain-generalizable UPDRS-Gait severity estimation, aiming to learn semantically structured motion features that generalize across heterogeneous clinical domains. We first learn motion representations using a Bi-GRU backbone that captures the temporal dynamics of SMPL sequences. Prior to model training, motion captions are generated offline using Qwen2.5-7B-Instruct. The backbone is then trained with both classification and text-alignment objectives to learn discriminative and semantically structured motion representations while accounting for the class imbalance present in the training data. We subsequently adapt the learned backbone independently to each source domain so that the model can capture domain-specific motion characteristics. The resulting source-specific models are then merged at the parameter level to consolidate complementary knowledge across source domains into a single domain-generalized model. To further mitigate class imbalance, we perform GPT-5.5-based pseudo labeling, and our final merged models for each site do not use any class-prior correction during inference. The resulting model is evaluated under the unseen-site setting of the MoCha Challenge, using Macro F1 as the primary evaluation metric. Our method achieves a macro-F1 of 0.57 on the hidden test set with only 637K active parameters at inference, ranking 3rd among 58 leaderboard entries in the MoCha 2026 Challenge. The challenge attracted 1,669 submissions from 112 participants and offered monetary prizes sponsored by Machine Medicine Technologies.