Two-Stream temporal transformer for video action classification
作者: Nattapong Kurpukdee, Adrian G. Bors
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-01-20
💡 一句话要点
提出双流时序Transformer，用于视频动作分类，提升时空信息利用率。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频动作分类 双流网络 Transformer 自注意力机制 时空特征提取
📋 核心要点
- 视频理解中的运动表征至关重要，现有方法在时空信息联合建模方面存在不足。
- 提出双流Transformer架构，利用自注意力机制有效捕捉内容和光流中的时空关系。
- 实验结果表明，该方法在多个视频数据集上取得了优异的动作分类性能。
📝 摘要（中文）
本文提出了一种新的双流Transformer视频分类器，该分类器从内容中提取时空信息，并从光流中提取运动信息。所提出的模型识别联合光流和时序帧域中的自注意力特征，并在Transformer编码器机制中表示它们的关系。实验结果表明，该方法在三个著名的人类活动视频数据集上提供了出色的分类结果。
🔬 方法详解
问题定义：视频动作分类旨在识别视频中发生的行为。现有方法在有效融合空间上下文信息和时间运动信息方面存在挑战，尤其是在长时序依赖关系的建模上。传统方法可能无法充分捕捉视频帧之间的细微运动变化，导致分类精度受限。
核心思路：本文的核心思路是利用Transformer的自注意力机制，同时处理视频帧的内容信息（空间信息）和光流信息（运动信息）。通过双流架构，分别提取两种模态的特征，然后通过Transformer编码器学习它们之间的关联，从而更全面地理解视频内容。
技术框架：该模型采用双流架构，包括内容流和光流流。内容流处理视频帧，提取空间特征；光流流处理光流图像，提取运动特征。然后，将两种特征输入到Transformer编码器中，利用自注意力机制学习时空特征的联合表示。最后，使用分类器对视频进行动作分类。
关键创新：该方法的主要创新在于将Transformer引入到双流视频分类框架中，利用自注意力机制有效地建模时空依赖关系。与传统的卷积神经网络（CNN）或循环神经网络（RNN）相比，Transformer能够更好地捕捉长距离的时序依赖，并且能够并行处理序列数据，提高计算效率。
关键设计：具体而言，内容流和光流流可以使用预训练的CNN模型（如ResNet或Inception）提取特征。Transformer编码器由多个自注意力层和前馈神经网络层组成。自注意力机制允许模型关注输入序列中不同位置的信息，从而学习到更丰富的时空特征表示。损失函数通常采用交叉熵损失函数，用于衡量预测结果与真实标签之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的双流Transformer模型在三个常用的人类活动视频数据集上取得了优异的分类性能。具体性能数据未知，但摘要中明确指出该方法提供了“出色的分类结果”，表明相较于现有方法，该模型具有显著的性能提升。
🎯 应用场景
该研究成果可广泛应用于视频监控、人机交互、机器人导航和自动驾驶等领域。例如，在视频监控中，可以自动识别异常行为；在人机交互中，可以理解用户的动作意图；在机器人导航中，可以帮助机器人理解周围环境并做出相应的动作。
📄 摘要（原文）
Motion representation plays an important role in video understanding and has many applications including action recognition, robot and autonomous guidance or others. Lately, transformer networks, through their self-attention mechanism capabilities, have proved their efficiency in many applications. In this study, we introduce a new two-stream transformer video classifier, which extracts spatio-temporal information from content and optical flow representing movement information. The proposed model identifies self-attention features across the joint optical flow and temporal frame domain and represents their relationships within the transformer encoder mechanism. The experimental results show that our proposed methodology provides excellent classification results on three well-known video datasets of human activities.