Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition
作者: Lilang Lin, Lehong Wu, Jiahang Zhang, Jiaying Liu
分类: cs.CV, cs.AI
发布日期: 2024-10-27
备注: ECCV 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于骨骼的幂等生成模型，用于无监督动作表征学习，提升识别性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 骨骼动作识别 无监督学习 表征学习 生成模型 幂等性约束
📋 核心要点
- 现有生成模型提取的骨骼动作特征包含冗余信息，与骨骼数据本身的稀疏性和时序一致性相悖，影响识别性能。
- 提出幂等生成模型（IGM），通过幂等性约束增强特征空间的一致性正则化，保留运动语义的关键信息。
- 在NTU RGB+D和PKUMMD数据集上的实验表明，该方法有效提升了骨骼动作识别的性能，尤其在零样本自适应场景下。
📝 摘要（中文）
生成模型作为一种强大的生成技术，也逐渐成为识别任务的关键工具。然而，在基于骨骼的动作识别中，从现有预训练生成方法中获得的特征包含与识别无关的冗余信息，这与骨骼在空间上的稀疏性和时间上的一致性相矛盾，导致性能不佳。为了解决这个挑战，我们努力弥合理论和方法论上的差距，并提出了一种新的基于骨骼的幂等生成模型（IGM），用于无监督表征学习。更具体地说，我们首先在理论上证明了生成模型和最大熵编码之间的等价性，这表明通过引入对比学习，可以使生成模型的特征更加紧凑。为此，我们引入了幂等性约束，以在特征空间中形成更强的一致性正则化，从而推动特征仅保持运动语义的关键信息用于识别任务。我们在基准数据集NTU RGB+D和PKUMMD上的大量实验证明了我们提出的方法的有效性。在NTU 60 xsub数据集上，我们观察到性能从84.6％提高到86.2％。此外，在零样本自适应场景中，我们的模型通过在以前无法识别的情况下取得有希望的结果，证明了显着的有效性。
🔬 方法详解
问题定义：现有基于生成模型的骨骼动作识别方法，提取的特征包含大量与识别任务无关的冗余信息。这些冗余信息破坏了骨骼数据固有的空间稀疏性和时间一致性，导致识别精度下降。因此，需要一种方法来提取更紧凑、更具判别性的骨骼动作特征。
核心思路：论文的核心思路是利用幂等性约束，增强生成模型在特征空间中的一致性正则化。幂等性是指一个变换重复应用多次，结果与应用一次相同。通过施加幂等性约束，模型被强制学习到对识别任务至关重要的运动语义信息，而忽略冗余信息。这使得学习到的特征更加紧凑和具有判别性。
技术框架：IGM模型的整体框架包含以下几个主要模块：1）一个生成模型，用于从骨骼数据中学习潜在表征；2）一个幂等性约束模块，用于强制学习到的特征满足幂等性；3）一个对比学习模块，用于进一步增强特征的判别性。整个流程是，首先利用生成模型学习骨骼数据的初始表征，然后通过幂等性约束和对比学习，对初始表征进行精炼，最终得到用于动作识别的紧凑特征。
关键创新：论文的关键创新在于将幂等性约束引入到骨骼动作识别的无监督表征学习中。与传统的生成模型相比，IGM能够学习到更紧凑、更具判别性的特征，从而提高识别精度。此外，论文还在理论上证明了生成模型和最大熵编码之间的等价性，为引入对比学习提供了理论依据。
关键设计：幂等性约束的具体实现方式是，将学习到的特征输入到一个非线性变换中，然后将变换后的特征再次输入到同一个变换中。幂等性约束要求两次变换后的特征尽可能接近。对比学习模块采用InfoNCE损失函数，鼓励模型学习到对不同动作具有区分性的特征。具体的网络结构和参数设置在论文中有详细描述，例如生成模型采用VAE架构，非线性变换采用多层感知机。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的IGM模型在NTU RGB+D和PKUMMD数据集上取得了显著的性能提升。在NTU 60 xsub数据集上，识别精度从84.6%提高到86.2%。更重要的是，在零样本自适应场景下，IGM模型表现出强大的泛化能力，能够识别以前无法识别的动作，证明了其在实际应用中的潜力。
🎯 应用场景
该研究成果可应用于视频监控、人机交互、康复训练等领域。例如，在视频监控中，可以利用该方法识别异常行为；在人机交互中，可以实现更自然的人体动作捕捉和理解；在康复训练中，可以辅助评估患者的运动功能恢复情况。该方法具有较强的泛化能力，有望推动相关领域的发展。
📄 摘要（原文）
Generative models, as a powerful technique for generation, also gradually become a critical tool for recognition tasks. However, in skeleton-based action recognition, the features obtained from existing pre-trained generative methods contain redundant information unrelated to recognition, which contradicts the nature of the skeleton's spatially sparse and temporally consistent properties, leading to undesirable performance. To address this challenge, we make efforts to bridge the gap in theory and methodology and propose a novel skeleton-based idempotent generative model (IGM) for unsupervised representation learning. More specifically, we first theoretically demonstrate the equivalence between generative models and maximum entropy coding, which demonstrates a potential route that makes the features of generative models more compact by introducing contrastive learning. To this end, we introduce the idempotency constraint to form a stronger consistency regularization in the feature space, to push the features only to maintain the critical information of motion semantics for the recognition task. Our extensive experiments on benchmark datasets, NTU RGB+D and PKUMMD, demonstrate the effectiveness of our proposed method. On the NTU 60 xsub dataset, we observe a performance improvement from 84.6$\%$ to 86.2$\%$. Furthermore, in zero-shot adaptation scenarios, our model demonstrates significant efficacy by achieving promising results in cases that were previously unrecognizable. Our project is available at \url{https://github.com/LanglandsLin/IGM}.