GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition

📄 arXiv: 2405.11180v1 📥 PDF

作者: Mallika Garg, Debashis Ghosh, Pyari Mohan Pradhan

分类: cs.CV, cs.HC

发布日期: 2024-05-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出GestFormer，一种基于多尺度小波池化Transformer的动态手势识别网络。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态手势识别 Transformer PoolFormer 小波变换 多尺度特征

📋 核心要点

  1. Transformer在诸多领域表现出色，但在手势识别中的应用仍有局限，且计算开销大。
  2. GestFormer利用PoolFormer进行token混合，降低计算复杂度，并结合小波变换提取多尺度特征。
  3. 实验表明，GestFormer在动态手势数据集上，以更少的参数实现了优于传统Transformer的性能。

📝 摘要（中文）

本文提出了一种名为GestFormer的新型动态手势识别架构。该设计的动机是提出一种资源高效的Transformer模型，因为Transformer计算成本高且非常复杂。因此，本文提出使用基于池化的token混合器PoolFormer，因为它仅使用非参数的池化层，而不是二次注意力机制。该模型还利用了小波变换的空间不变特征，并使用多尺度池化选择多尺度特征。此外，门控机制有助于关注手势的精细细节和上下文信息。在NVidia动态手势和Briareo数据集上评估时，与传统的Transformer相比，该模型以更少的参数提高了性能。为了证明所提出模型的有效性，本文在红外、法线、深度、光流和彩色图像等单模态和多模态输入上进行了实验。还从资源效率和操作数量方面比较了所提出的GestFormer。

🔬 方法详解

问题定义：动态手势识别旨在理解连续手势序列的含义。现有基于Transformer的方法计算复杂度高，参数量大，难以在资源受限的设备上部署。因此，需要一种资源高效的Transformer模型，能够在保证识别精度的同时，降低计算成本。

核心思路：GestFormer的核心思路是利用PoolFormer替代传统Transformer中的自注意力机制，从而降低计算复杂度。PoolFormer使用池化层进行token混合，避免了自注意力机制的二次方计算开销。此外，结合小波变换提取多尺度特征，并使用门控机制关注手势的细节信息。

技术框架：GestFormer的整体架构包括以下几个主要模块：1) 输入数据预处理：对输入图像（如深度图、RGB图等）进行预处理，例如归一化。2) 小波变换：利用小波变换提取输入数据的多尺度特征。3) PoolFormer编码器：使用多个PoolFormer块对多尺度特征进行编码，每个PoolFormer块包含池化层和前馈神经网络。4) 门控机制：利用门控机制融合不同尺度的特征，并关注手势的细节信息。5) 分类器：使用全连接层或softmax层进行手势分类。

关键创新：GestFormer的关键创新在于：1) 使用PoolFormer替代自注意力机制，显著降低了计算复杂度。2) 结合小波变换提取多尺度特征，提高了模型对不同尺度手势变化的鲁棒性。3) 引入门控机制，增强了模型对关键细节信息的关注。

关键设计：1) PoolFormer块的设计：使用平均池化或最大池化层进行token混合，池化窗口大小和步长是关键参数。2) 小波变换的参数选择：选择合适的小波基函数和分解层数，以提取有效的多尺度特征。3) 门控机制的设计：使用sigmoid函数作为门控，控制不同尺度特征的权重。4) 损失函数：使用交叉熵损失函数进行手势分类。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GestFormer在NVidia动态手势和Briareo数据集上进行了评估，实验结果表明，与传统的Transformer相比，GestFormer在参数量更少的情况下，取得了更高的识别精度。具体性能数据需要在论文中查找，但摘要表明性能优于传统Transformer。

🎯 应用场景

GestFormer可应用于人机交互、虚拟现实、智能家居等领域。例如，在VR游戏中，用户可以通过手势与虚拟环境进行交互；在智能家居中，用户可以通过手势控制家电设备。该研究有助于推动手势识别技术在实际场景中的应用，提升用户体验。

📄 摘要（原文）

Transformer model have achieved state-of-the-art results in many applications like NLP, classification, etc. But their exploration in gesture recognition task is still limited. So, we propose a novel GestFormer architecture for dynamic hand gesture recognition. The motivation behind this design is to propose a resource efficient transformer model, since transformers are computationally expensive and very complex. So, we propose to use a pooling based token mixer named PoolFormer, since it uses only pooling layer which is a non-parametric layer instead of quadratic attention. The proposed model also leverages the space-invariant features of the wavelet transform and also the multiscale features are selected using multi-scale pooling. Further, a gated mechanism helps to focus on fine details of the gesture with the contextual information. This enhances the performance of the proposed model compared to the traditional transformer with fewer parameters, when evaluated on dynamic hand gesture datasets, NVidia Dynamic Hand Gesture and Briareo datasets. To prove the efficacy of the proposed model, we have experimented on single as well multimodal inputs such as infrared, normals, depth, optical flow and color images. We have also compared the proposed GestFormer in terms of resource efficiency and number of operations. The source code is available at https://github.com/mallikagarg/GestFormer.