I$^2$MD: 3D Action Representation Learning with Inter- and Intra-modal Mutual Distillation

📄 arXiv: 2310.15568v1 📥 PDF

作者: Yunyao Mao, Jiajun Deng, Wengang Zhou, Zhenbo Lu, Wanli Ouyang, Houqiang Li

分类: cs.CV

发布日期: 2023-10-24

备注: submitted to IJCV. arXiv admin note: substantial text overlap with arXiv:2208.12448

💡 一句话要点

提出I$^2$MD框架以解决3D动作表示学习中的模态互补性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D动作识别 自监督学习 模态互蒸馏 对比学习 动态邻居聚合 特征聚类 深度学习

📋 核心要点

  1. 现有自监督3D动作表示学习方法在模态互补性利用上存在不足，导致模型性能受限。
  2. 本文提出I$^2$MD框架，通过跨模态和模态内互蒸馏，持续更新模态间知识，提升学习效果。
  3. 在多个数据集上进行的实验表明，该方法显著提高了3D动作表示学习的性能，创造了新的基准记录。

📝 摘要（中文）

近年来，自监督3D人类动作表示学习的进展主要归功于对比学习。然而，传统对比框架中，不同骨架模态之间的丰富互补性仍未得到充分探索。此外，模型在有限动作类别的情况下，面临许多相似正实例的干扰。为此，本文提出了一种通用的模态间和模态内互蒸馏框架I$^2$MD。在该框架中，首先将跨模态交互重新定义为跨模态互蒸馏过程。与现有的蒸馏方案不同，I$^2$MD在预训练期间，知识在模态之间持续更新和双向蒸馏。为缓解相似样本的干扰并利用其潜在上下文，进一步设计了模态内互蒸馏策略IMD，首次引入动态邻居聚合机制，形成局部聚类对比。大量实验表明，该方法在三个数据集上设立了一系列新纪录。

🔬 方法详解

问题定义：本文旨在解决传统对比学习框架中，不同模态之间互补性不足的问题，以及在有限动作类别下相似样本干扰导致的学习困难。

核心思路：提出I$^2$MD框架，通过跨模态互蒸馏（CMD）和模态内互蒸馏（IMD）策略，动态更新模态间的知识传递，增强模型对相似样本的处理能力。

技术框架：I$^2$MD框架包括两个主要模块：跨模态互蒸馏模块和模态内互蒸馏模块。CMD模块负责模态间的知识传递，而IMD模块通过动态邻居聚合机制进行模态内的特征对比。

关键创新：最重要的创新在于引入了动态邻居聚合机制，使得相似样本的干扰得以缓解，并通过局部聚类对比增强了特征的表达能力。这与传统的固定教师-学生蒸馏方法有本质区别。

关键设计：在IMD中，设计了一个额外的聚类级别判别分支，适应性地聚合高度相关的邻近特征，形成局部聚类对比。损失函数设计上，结合了跨模态和模态内的对比损失，以实现更有效的知识蒸馏。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个数据集上的实验结果显示，I$^2$MD框架在3D动作表示学习中取得了显著提升，相较于基线方法，性能提升幅度达到XX%，设立了新的性能记录，验证了方法的有效性与创新性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、虚拟现实、运动分析等，能够提升人机交互的智能化水平。通过更准确的3D动作识别，未来可在体育训练、医疗康复等领域发挥重要作用，推动相关技术的进步与应用。

📄 摘要（原文）

Recent progresses on self-supervised 3D human action representation learning are largely attributed to contrastive learning. However, in conventional contrastive frameworks, the rich complementarity between different skeleton modalities remains under-explored. Moreover, optimized with distinguishing self-augmented samples, models struggle with numerous similar positive instances in the case of limited action categories. In this work, we tackle the aforementioned problems by introducing a general Inter- and Intra-modal Mutual Distillation (I$^2$MD) framework. In I$^2$MD, we first re-formulate the cross-modal interaction as a Cross-modal Mutual Distillation (CMD) process. Different from existing distillation solutions that transfer the knowledge of a pre-trained and fixed teacher to the student, in CMD, the knowledge is continuously updated and bidirectionally distilled between modalities during pre-training. To alleviate the interference of similar samples and exploit their underlying contexts, we further design the Intra-modal Mutual Distillation (IMD) strategy, In IMD, the Dynamic Neighbors Aggregation (DNA) mechanism is first introduced, where an additional cluster-level discrimination branch is instantiated in each modality. It adaptively aggregates highly-correlated neighboring features, forming local cluster-level contrasting. Mutual distillation is then performed between the two branches for cross-level knowledge exchange. Extensive experiments on three datasets show that our approach sets a series of new records.