Explainable Action Form Assessment by Exploiting Multimodal Chain-of-Thoughts Reasoning

📄 arXiv: 2512.15153v1 📥 PDF

作者: Mengshi Qi, Yeteng Wu, Xianlin Zhang, Huadong Ma

分类: cs.CV

发布日期: 2025-12-17

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于多模态CoT推理的可解释动作形态评估方法与数据集，解决动作标准化评估问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动作形态评估 多模态融合 Chain-of-Thought 可解释性 动作质量评估

📋 核心要点

  1. 现有视频理解方法难以满足动作标准化评估需求，缺乏对动作质量的细致分析和可解释性。
  2. 提出Explainable Fitness Assessor框架，利用多模态信息融合和CoT推理，实现动作评估、解释和改进建议。
  3. 实验表明，该方法在动作分类、质量评估和解释生成方面均有显著提升，验证了CoT-AFA数据集的有效性。

📝 摘要（中文）

在现实场景中，评估人体动作是否规范并提供合理的反馈以改进动作标准化至关重要，但也极具挑战性。现有的视频理解方法主要关注动作是什么以及在哪里，无法满足动作标准化评估的需求。同时，现有数据集缺乏指示动作标准化程度的标签，并且动作质量评估数据集缺乏可解释性和详细反馈。因此，我们定义了一个新的人体动作形态评估（AFA）任务，并引入了一个新的多样化数据集CoT-AFA，其中包含大量的健身和武术视频，具有多层次的注释，用于全面的视频分析。我们使用一种新颖的Chain-of-Thought解释范式丰富了CoT-AFA数据集。我们的解释不是提供孤立的反馈，而是提供一个完整的推理过程——从识别一个动作步骤到分析其结果并提出一个具体的解决方案。此外，我们提出了一个名为Explainable Fitness Assessor的框架，它不仅可以判断一个动作，还可以解释原因并提供解决方案。该框架采用两个并行处理流和一个动态门控机制来融合视觉和语义信息，从而提高其分析能力。实验结果表明，我们的方法在解释生成（例如，CIDEr +16.0%）、动作分类（准确率 +2.7%）和质量评估（准确率 +2.1%）方面取得了改进，揭示了CoT-AFA在未来研究中的巨大潜力。我们的数据集和源代码可在https://github.com/MICLAB-BUPT/EFA 获得。

🔬 方法详解

问题定义：论文旨在解决人体动作形态评估（AFA）问题，即判断动作是否标准，并提供可解释的改进建议。现有方法主要关注动作识别，缺乏对动作质量的评估和解释能力，同时缺乏高质量的标注数据集。

核心思路：论文的核心思路是利用多模态信息（视觉和语义）和Chain-of-Thought（CoT）推理，构建一个可解释的动作评估框架。通过CoT推理，模型可以逐步分析动作步骤、评估结果并提出改进方案，从而提供更全面的反馈。

技术框架：整体框架包含两个并行处理流：视觉流和语义流。视觉流处理视频信息，提取动作特征；语义流处理文本信息，例如动作描述和评估标准。两个流的信息通过动态门控机制进行融合，然后输入到CoT推理模块，生成动作评估和解释。框架包含以下主要模块：特征提取模块（视觉和语义）、多模态融合模块（动态门控机制）、CoT推理模块、评估和解释生成模块。

关键创新：论文的关键创新在于：1) 提出了人体动作形态评估（AFA）任务；2) 构建了CoT-AFA数据集，包含多层次标注和CoT解释；3) 提出了Explainable Fitness Assessor框架，结合多模态信息和CoT推理，实现可解释的动作评估。与现有方法的本质区别在于，该方法不仅评估动作质量，还提供可解释的推理过程和改进建议。

关键设计：动态门控机制用于融合视觉和语义信息，其权重由模型自动学习，以更好地利用不同模态的信息。CoT推理模块采用Transformer结构，通过自回归的方式生成动作评估和解释。损失函数包括动作分类损失、质量评估损失和解释生成损失，用于优化模型的各个部分。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Explainable Fitness Assessor框架在CoT-AFA数据集上取得了显著的性能提升。在解释生成方面，CIDEr指标提升了16.0%；在动作分类方面，准确率提升了2.7%；在质量评估方面，准确率提升了2.1%。这些结果验证了该方法在动作评估和解释方面的有效性。

🎯 应用场景

该研究成果可应用于在线健身指导、运动康复、武术教学等领域。通过提供个性化的动作评估和改进建议，帮助用户提高动作规范性，减少运动损伤。未来可扩展到其他类型的人体动作评估，例如舞蹈、瑜伽等，具有广泛的应用前景。

📄 摘要（原文）

Evaluating whether human action is standard or not and providing reasonable feedback to improve action standardization is very crucial but challenging in real-world scenarios. However, current video understanding methods are mainly concerned with what and where the action is, which is unable to meet the requirements. Meanwhile, most of the existing datasets lack the labels indicating the degree of action standardization, and the action quality assessment datasets lack explainability and detailed feedback. Therefore, we define a new Human Action Form Assessment (AFA) task, and introduce a new diverse dataset CoT-AFA, which contains a large scale of fitness and martial arts videos with multi-level annotations for comprehensive video analysis. We enrich the CoT-AFA dataset with a novel Chain-of-Thought explanation paradigm. Instead of offering isolated feedback, our explanations provide a complete reasoning process--from identifying an action step to analyzing its outcome and proposing a concrete solution. Furthermore, we propose a framework named Explainable Fitness Assessor, which can not only judge an action but also explain why and provide a solution. This framework employs two parallel processing streams and a dynamic gating mechanism to fuse visual and semantic information, thereby boosting its analytical capabilities. The experimental results demonstrate that our method has achieved improvements in explanation generation (e.g., +16.0% in CIDEr), action classification (+2.7% in accuracy) and quality assessment (+2.1% in accuracy), revealing great potential of CoT-AFA for future studies. Our dataset and source code is available at https://github.com/MICLAB-BUPT/EFA.