Multimodal Skeleton-Based Action Representation Learning via Decomposition and Composition

📄 arXiv: 2512.21064v1 📥 PDF

作者: Hongsong Wang, Heng Fei, Bingxuan Dai, Jie Gui

分类: cs.CV

发布日期: 2025-12-24

备注: Accepted by Machine Intelligence Research (Journal Impact Factor 8.7, 2024)

💡 一句话要点

提出分解与组合的多模态骨骼动作表示学习框架，提升效率与性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 动作识别 骨骼数据 自监督学习 表示学习 分解与组合 深度学习

📋 核心要点

  1. 现有方法在多模态动作识别中，要么效率低（后期融合），要么性能差（早期融合），难以兼顾。
  2. 论文提出“分解与组合”策略，分解融合特征对齐单模态，组合单模态指导多模态学习。
  3. 实验表明，该方法在NTU RGB+D 60/120和PKU-MMD II数据集上，实现了计算效率和性能的平衡。

📝 摘要（中文）

多模态人体动作理解是计算机视觉中的一个重要问题，其核心挑战在于有效利用不同模态之间的互补性，同时保持模型效率。然而，大多数现有方法依赖于简单的后期融合来提高性能，这导致了巨大的计算开销。虽然使用共享骨干网络进行所有模态的早期融合是有效的，但难以获得出色的性能。为了解决效率和效果之间的两难问题，我们提出了一种自监督的多模态骨骼动作表示学习框架，名为分解与组合。分解策略将融合的多模态特征精细地分解为不同的单模态特征，然后将它们与其各自的真实单模态对应物对齐。另一方面，组合策略整合多个单模态特征，利用它们作为自监督指导来增强多模态表示的学习。在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD II数据集上的大量实验表明，该方法在计算成本和模型性能之间取得了极好的平衡。

🔬 方法详解

问题定义：多模态人体动作识别旨在利用多种模态的信息（如RGB、深度、骨骼）来提升识别准确率。现有方法的痛点在于：简单的后期融合计算量大，早期融合性能受限，难以在效率和性能之间取得平衡。如何有效地融合多模态信息，同时降低计算复杂度，是本文要解决的关键问题。

核心思路：论文的核心思路是“分解与组合”。首先，将融合后的多模态特征分解为单模态特征，并与对应的真实单模态特征对齐，从而学习到更具区分性的单模态表示。然后，利用这些单模态特征作为自监督信号，指导多模态特征的学习，从而提升多模态表示的质量。这种分解与组合的策略，旨在充分利用多模态信息的互补性，同时避免引入过多的计算开销。

技术框架：整体框架包含两个主要阶段：分解阶段和组合阶段。在分解阶段，首先使用一个共享的骨干网络提取多模态融合特征。然后，使用分解模块将融合特征分解为多个单模态特征。每个单模态特征都与对应的真实单模态特征进行对齐，例如通过对比学习或回归损失。在组合阶段，将多个单模态特征进行组合，生成自监督信号。该自监督信号用于指导多模态特征的学习，例如通过最小化多模态特征与自监督信号之间的差异。

关键创新：最重要的技术创新点在于“分解与组合”的策略。与传统的融合方法不同，该方法不是简单地将多模态信息进行融合，而是通过分解和组合的方式，更有效地利用了多模态信息的互补性。分解阶段使得模型能够学习到更具区分性的单模态表示，组合阶段则利用这些单模态表示来指导多模态特征的学习，从而提升了多模态表示的质量。

关键设计：在分解阶段，可以使用不同的分解模块，例如线性层或卷积层，将融合特征分解为多个单模态特征。对齐损失可以使用对比学习损失或回归损失。在组合阶段，可以使用不同的组合方式，例如加权平均或注意力机制，将多个单模态特征进行组合。自监督损失可以使用均方误差损失或交叉熵损失。具体的网络结构和参数设置需要根据具体的数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在NTU RGB+D 60、NTU RGB+D 120和PKU-MMD II数据集上取得了显著的性能提升。例如，在NTU RGB+D 60数据集上，该方法的准确率超过了现有方法，同时计算复杂度更低。与基线方法相比，该方法在性能和效率之间取得了更好的平衡。

🎯 应用场景

该研究成果可应用于智能监控、人机交互、康复训练等领域。例如，在智能监控中，可以利用多模态信息更准确地识别异常行为；在人机交互中，可以根据用户的动作和语音进行更自然的交互；在康复训练中，可以根据患者的动作数据评估康复效果并提供个性化指导。该研究有助于提升相关系统的智能化水平和用户体验。

📄 摘要（原文）

Multimodal human action understanding is a significant problem in computer vision, with the central challenge being the effective utilization of the complementarity among diverse modalities while maintaining model efficiency. However, most existing methods rely on simple late fusion to enhance performance, which results in substantial computational overhead. Although early fusion with a shared backbone for all modalities is efficient, it struggles to achieve excellent performance. To address the dilemma of balancing efficiency and effectiveness, we introduce a self-supervised multimodal skeleton-based action representation learning framework, named Decomposition and Composition. The Decomposition strategy meticulously decomposes the fused multimodal features into distinct unimodal features, subsequently aligning them with their respective ground truth unimodal counterparts. On the other hand, the Composition strategy integrates multiple unimodal features, leveraging them as self-supervised guidance to enhance the learning of multimodal representations. Extensive experiments on the NTU RGB+D 60, NTU RGB+D 120, and PKU-MMD II datasets demonstrate that the proposed method strikes an excellent balance between computational cost and model performance.