SkelMamba: A State Space Model for Efficient Skeleton Action Recognition of Neurological Disorders

📄 arXiv: 2411.19544v1 📥 PDF

作者: Niki Martinel, Mariano Serrao, Christian Micheloni

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-11-29

💡 一句话要点

SkelMamba：一种用于神经系统疾病骨骼动作识别的高效状态空间模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 骨骼动作识别 状态空间模型 神经系统疾病 解剖学引导 多方向扫描

📋 核心要点

  1. 现有骨骼动作识别方法在捕捉细微运动模式和处理复杂时空关系方面存在不足，尤其是在医学诊断领域。
  2. SkelMamba通过解剖学引导的架构和多方向扫描策略，有效分解和捕捉骨骼运动的空间、时间和时空特征。
  3. 实验结果表明，SkelMamba在多个公开数据集上超越了现有方法，并在神经系统疾病诊断方面展现出潜力。

📝 摘要（中文）

本文提出了一种新颖的基于状态空间模型（SSM）的骨骼动作识别框架，该框架采用解剖学引导的架构，在临床诊断和通用动作识别任务中均优于现有技术水平。我们的方法将骨骼运动分析分解为空间、时间和时空流，利用通道划分来有效地捕获不同的运动特征。通过在SSM中实施结构化的多方向扫描策略，我们的模型能够捕获多个解剖身体部位的局部关节交互和全局运动模式。这种解剖学感知的分解增强了识别医学诊断中关键的细微运动模式的能力，例如与神经系统疾病相关的步态异常。在公共动作识别基准测试（即NTU RGB+D、NTU RGB+D 120和NW-UCLA）中，我们的模型优于当前最先进的方法，与之前领先的基于Transformer的模型相比，在计算复杂度更低的情况下，准确率提高了高达3.2%。我们还引入了一个新的基于运动的患者神经系统疾病分析的医学数据集，以验证我们的方法在自动疾病诊断中的潜力。

🔬 方法详解

问题定义：论文旨在解决骨骼动作识别问题，特别是在神经系统疾病诊断中，现有方法难以有效捕捉细微的运动模式，并且计算复杂度较高。Transformer-based模型虽然性能优秀，但计算成本限制了其应用。

核心思路：论文的核心思路是利用状态空间模型（SSM）的优势，结合解剖学知识，设计一个高效且具有良好表征能力的骨骼动作识别框架。通过解剖学引导的架构，将骨骼运动分解为空间、时间和时空流，从而更好地捕捉运动特征。

技术框架：SkelMamba框架包含三个主要流：空间流、时间流和时空流。每个流都使用SSM进行建模，并通过通道划分来捕捉不同的运动特征。多方向扫描策略用于捕捉局部关节交互和全局运动模式。整个框架采用端到端的方式进行训练。

关键创新：SkelMamba的关键创新在于其解剖学引导的架构和多方向扫描策略。解剖学引导的架构使得模型能够更好地关注与特定疾病相关的运动模式。多方向扫描策略能够有效地捕捉局部和全局的运动信息，从而提高识别精度。

关键设计：SkelMamba使用Mamba作为其核心的SSM模块。通道划分策略用于将骨骼运动分解为不同的流。损失函数采用交叉熵损失。网络结构根据不同的数据集进行调整，以达到最佳性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SkelMamba在NTU RGB+D、NTU RGB+D 120和NW-UCLA等公开数据集上取得了优异的性能，超越了当前最先进的方法，准确率提升高达3.2%。同时，SkelMamba的计算复杂度低于之前的Transformer-based模型，具有更高的效率。论文还引入了一个新的医学数据集，验证了该方法在神经系统疾病诊断中的潜力。

🎯 应用场景

SkelMamba在医疗健康领域具有广阔的应用前景，可用于神经系统疾病的早期诊断、运动障碍评估、康复治疗监测等方面。该研究有助于实现自动化、客观化的疾病诊断，提高诊断效率和准确性，并为患者提供个性化的治疗方案。此外，该方法也可应用于通用的人体动作识别领域，例如智能监控、人机交互等。

📄 摘要（原文）

We introduce a novel state-space model (SSM)-based framework for skeleton-based human action recognition, with an anatomically-guided architecture that improves state-of-the-art performance in both clinical diagnostics and general action recognition tasks. Our approach decomposes skeletal motion analysis into spatial, temporal, and spatio-temporal streams, using channel partitioning to capture distinct movement characteristics efficiently. By implementing a structured, multi-directional scanning strategy within SSMs, our model captures local joint interactions and global motion patterns across multiple anatomical body parts. This anatomically-aware decomposition enhances the ability to identify subtle motion patterns critical in medical diagnosis, such as gait anomalies associated with neurological conditions. On public action recognition benchmarks, i.e., NTU RGB+D, NTU RGB+D 120, and NW-UCLA, our model outperforms current state-of-the-art methods, achieving accuracy improvements up to $3.2\%$ with lower computational complexity than previous leading transformer-based models. We also introduce a novel medical dataset for motion-based patient neurological disorder analysis to validate our method's potential in automated disease diagnosis.