DiMoP: Diffusion-Driven Motion Representation Learning With Frame-Level Pseudo-Classification for Skeleton-Based Action Recognition

📄 arXiv: 2609.35444v1 📥 PDF

作者: Shanaka Ramesh Gunasekara, Wanqing Li, Nikalal Kaldera, Philip Ogunbona, Jack Yang

分类: cs.CV

发布日期: 2026-09-28

备注: Accepted to IEEE TRANSACTIONS ON BIOMETRICS, BEHAVIOR, AND IDENTITY SCIENCE

DOI: 10.1109/TBIOM.2026.3735717

💡 一句话要点

提出DiMoP以解决骨架动作识别中的运动表示学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 骨架动作识别 运动表示学习 伪分类 扩散模型 深度学习

📋 核心要点

  1. 现有骨架动作识别方法往往只关注强烈运动，导致对微弱和中等运动的识别能力不足。
  2. DiMoP通过掩蔽和扩散驱动的方式，结合帧级伪分类，显式学习关节运动的分布，提升了对不同强度运动的识别能力。
  3. DiMoP在多个数据集上表现优异，特别是在NTU RGB+D 120上相较于之前的方法提升了1.1个百分点，展示了其有效性。

📝 摘要（中文）

骨架动作识别的鲁棒性要求能够捕捉从微弱到强烈的多种运动表现。现有方法通常侧重于强烈运动。本文提出DiMoP，一种基于掩蔽和扩散驱动的运动表示学习方法，通过帧级伪分类显式学习关节运动的分布，而非回归确定性坐标。DiMoP通过逐步噪声扩散和基于可见关节的去噪过程，均匀学习弱、中等和强动态。此外，提出的伪帧分类器在没有人工标注的情况下，强制学习序列一致和时间连贯的伪标签。这些策略为关节生成和判别运动建模提供了原则性机制。DiMoP在NTU RGB+D 60/120和PKUMMD上实现了最先进的性能，在NTU RGB+D 120的跨主体协议中比之前的工作提高了1.1个百分点。

🔬 方法详解

问题定义：本文旨在解决骨架动作识别中对多种运动强度的表示学习不足的问题。现有方法通常只关注强烈动作，忽视了微弱和中等动作的学习，导致识别性能的局限性。

核心思路：DiMoP通过掩蔽和扩散驱动的方式，采用逐步噪声扩散和去噪过程，显式学习关节运动的分布。这种设计使得模型能够在不同强度的动态中进行均匀学习，从而提升识别能力。

技术框架：DiMoP的整体架构包括掩蔽生成模块、扩散过程和伪帧分类器。掩蔽生成模块负责生成带有噪声的关节数据，扩散过程则通过逐步去噪来恢复运动信息，伪帧分类器则用于生成一致的伪标签，确保学习的连贯性。

关键创新：DiMoP的主要创新在于结合了生成和判别模型的优点，通过伪分类器实现了无监督的运动表示学习。这一方法与传统的回归方法有本质区别，后者通常只关注确定性坐标的回归。

关键设计：在关键设计方面，DiMoP采用了逐步噪声扩散策略，设置了适当的损失函数以平衡生成与判别任务，同时网络结构上引入了伪帧分类器，以增强模型的学习能力。具体参数设置和网络细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiMoP在多个标准数据集上表现出色，尤其是在NTU RGB+D 120数据集上，相较于之前的工作提升了1.1个百分点，展现了其在骨架动作识别领域的领先性能。这一成果为后续研究提供了新的方向和思路。

🎯 应用场景

该研究在智能监控、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提高骨架动作识别的鲁棒性，DiMoP可以帮助实现更自然的人机交互体验，并在运动分析和行为识别等实际场景中发挥重要作用。未来，随着技术的进一步发展，DiMoP的应用范围有望进一步扩大。

📄 摘要（原文）

Robust skeleton-based action recognition requires representations that capture a wide spectrum of motions, from subtle to moderate and strong ones. Existing methods often focus on strong motions. This paper introduces DiMoP, a masking- and diffusion-driven motion representation learning method with frame-level pseudo-classification to explicitly learn the distribution of joint motions rather than regressing deterministic coordinates, as existing methods often do. By diffusing masked joints with progressive noise and denoising them conditioned on visible joints, DiMoP learns through controllable noising and denoising processes, enabling uniform learning of weak, moderate, and strong dynamics. To enable the masking-based generative diffusion learning with a discriminative capability, a pseudo-frame classifier is proposed that enforces the learning towards sequence-consistent and temporally coherent pseudo-labels without manual annotations. Together, these strategies provide a principled mechanism for joint generative and discriminative motion modeling. DiMoP achieves state-of-the-art performance across NTU RGB+D 60/120, and PKUMMD, including a 1.1 percentage point gain over prior works on NTU RGB+D 120 with the cross-subject protocol.