ConViViT -- A Deep Neural Network Combining Convolutions and Factorized Self-Attention for Human Activity Recognition

📄 arXiv: 2310.14416v1 📥 PDF

作者: Rachid Reda Dokkar, Faten Chaieb, Hassen Drira, Arezki Aberkane

分类: cs.CV, cs.LG

发布日期: 2023-10-22

期刊: IEEE International Workshop on MultiMedia Signal Processing (MMSP 2023)

💡 一句话要点

提出ConViViT以解决人类活动识别中的信息融合问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 人类活动识别 卷积神经网络 Transformer 时空特征提取 混合架构 深度学习 视频分析

📋 核心要点

  1. 现有的活动识别方法多依赖于CNN或Transformer，缺乏有效的融合策略，导致信息提取不足。
  2. 本文提出了一种混合架构，利用CNN增强视频表示，再通过Transformer提取时空特征，以提高活动识别的准确性。
  3. 实验结果表明，该方法在多个标准数据集上均取得了新的最优性能，显著优于现有方法。

📝 摘要（中文）

Transformer架构因其良好的泛化能力和捕捉长距离依赖的特性，在计算机视觉任务中获得了广泛应用。卷积神经网络（CNN）则是处理图像和视频的基础，能够有效聚合局部信息以生成空间标记。尽管CNN和Transformer架构在活动识别中被广泛研究，但两者的有效结合尚未受到足够关注。本文提出了一种新颖的混合架构，结合CNN和Transformer的优势，利用RGB视频进行活动识别。具体而言，首先通过CNN生成128通道的视频表示，分离活动中的人和背景，然后将CNN的输出输入到Transformer中提取时空标记，最终用于分类。该架构在HMDB51、UCF101和ETRI-Activity3D数据集上分别取得了90.05%、99.6%和95.09%的新SOTA结果。

🔬 方法详解

问题定义：本文旨在解决人类活动识别中信息融合不足的问题。现有方法多依赖于单一架构，导致对时空特征的提取不够全面，影响识别精度。

核心思路：提出的ConViViT架构结合了CNN和Transformer的优势，首先通过CNN提取空间特征，再通过Transformer捕捉时空依赖，从而提高活动识别的性能。

技术框架：整体架构分为两个主要模块：首先是CNN模块，用于生成128通道的视频表示，分离活动主体与背景；其次是Transformer模块，接收CNN输出并提取时空标记，最终用于分类。

关键创新：本研究的创新点在于有效结合了CNN和Transformer，形成了一种新的混合架构，克服了单一架构在活动识别中的局限性。

关键设计：在网络设计中，CNN模块的输出通道数设置为128，以确保足够的特征表达能力；损失函数采用交叉熵损失，优化过程中使用Adam优化器，以提高训练效率和模型收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HMDB51、UCF101和ETRI-Activity3D数据集上，ConViViT架构分别取得了90.05%、99.6%和95.09%的识别准确率，显著优于当前的主流方法，展示了其在活动识别领域的强大性能。

🎯 应用场景

该研究在视频监控、智能家居、体育分析等领域具有广泛的应用潜力。通过提高活动识别的准确性，可以为人机交互、行为分析和安全监控等提供更为可靠的技术支持，推动相关行业的发展。

📄 摘要（原文）

The Transformer architecture has gained significant popularity in computer vision tasks due to its capacity to generalize and capture long-range dependencies. This characteristic makes it well-suited for generating spatiotemporal tokens from videos. On the other hand, convolutions serve as the fundamental backbone for processing images and videos, as they efficiently aggregate information within small local neighborhoods to create spatial tokens that describe the spatial dimension of a video. While both CNN-based architectures and pure transformer architectures are extensively studied and utilized by researchers, the effective combination of these two backbones has not received comparable attention in the field of activity recognition. In this research, we propose a novel approach that leverages the strengths of both CNNs and Transformers in an hybrid architecture for performing activity recognition using RGB videos. Specifically, we suggest employing a CNN network to enhance the video representation by generating a 128-channel video that effectively separates the human performing the activity from the background. Subsequently, the output of the CNN module is fed into a transformer to extract spatiotemporal tokens, which are then used for classification purposes. Our architecture has achieved new SOTA results with 90.05 \%, 99.6\%, and 95.09\% on HMDB51, UCF101, and ETRI-Activity3D respectively.