Snakes and Ladders: Two Steps Up for VideoMamba

📄 arXiv: 2406.19006v4 📥 PDF

作者: Hui Lu, Albert Ali Salah, Ronald Poppe

分类: cs.CV

发布日期: 2024-06-27 (更新: 2024-11-13)

备注: New updated experiment results

💡 一句话要点

VideoMambaPro：通过改进Mamba架构，提升视频理解性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频理解 Mamba架构 时空建模 自注意力机制 高效计算 动作识别 深度学习

📋 核心要点

  1. Transformer的自注意力机制在视频理解中计算量大，Mamba作为一种高效替代方案，但在视频任务中存在局限性。
  2. VideoMambaPro通过添加掩码反向计算和元素残差连接，解决了Mamba的历史衰减和元素矛盾问题。
  3. 实验表明，VideoMambaPro在Kinetics-400和Something-Something V2数据集上显著优于VideoMamba，且无需大量预训练。

📝 摘要（中文）

视频理解需要提取丰富的时空表示，Transformer模型通过自注意力机制实现这一点。然而，自注意力机制带来了巨大的计算负担。在自然语言处理领域，Mamba已经成为Transformer的一种高效替代方案。但是，Mamba的成功经验并不能直接扩展到视觉任务，包括视频分析。本文从理论上分析了自注意力机制和Mamba之间的差异，并指出了Mamba在token处理中的两个局限性：历史衰减和元素矛盾。我们提出了VideoMambaPro (VMP)，通过在VideoMamba骨干网络中添加掩码反向计算和元素残差连接来解决这些局限性。不同大小的VideoMambaPro模型在Kinetics-400和Something-Something V2上分别超过VideoMamba 1.6-2.8%和1.1-1.9%的top-1准确率。即使没有进行大量的预训练，我们的模型也为当前的Transformer模型提供了一个越来越有吸引力和高效的替代方案。此外，我们的两个解决方案与最近的Vision Mamba模型进展是正交的，并且可能在未来的模型中提供进一步的改进。

🔬 方法详解

问题定义：现有基于Transformer的视频理解模型计算复杂度高，难以处理长视频。Mamba虽然在NLP领域表现出色，但直接应用于视频理解时，存在历史信息快速衰减和元素间信息冲突的问题，导致性能下降。

核心思路：论文的核心思路是通过改进Mamba架构，弥补其在视频理解任务中的不足。具体来说，通过引入掩码反向计算来增强历史信息的利用，并使用元素残差连接来缓解元素间的信息冲突。

技术框架：VideoMambaPro (VMP) 以 VideoMamba 作为骨干网络。主要包含以下模块：首先，输入视频被分割成token序列。然后，这些token序列被送入改进的Mamba块中进行处理。改进的Mamba块包含两个关键组件：掩码反向计算模块和元素残差连接模块。最后，经过一系列Mamba块的处理，模型输出视频的表示，用于后续的分类或其他任务。

关键创新：论文的关键创新在于提出了两种针对Mamba架构在视频理解中缺陷的解决方案：掩码反向计算和元素残差连接。掩码反向计算允许模型在一定程度上回顾过去的信息，缓解历史衰减问题。元素残差连接则通过在Mamba块的输入和输出之间建立直接连接，减少元素间信息冲突。

关键设计：掩码反向计算的具体实现方式是，在计算状态转移矩阵时，对一部分历史状态进行掩码，并反向传播这些状态的信息。元素残差连接则是在每个Mamba块的输出上添加一个残差连接，将输入直接加到输出上。具体的掩码比例和残差连接的权重等参数需要根据实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VideoMambaPro在Kinetics-400数据集上取得了1.6-2.8%的top-1准确率提升，在Something-Something V2数据集上取得了1.1-1.9%的top-1准确率提升，显著优于原始的VideoMamba模型。值得注意的是，这些提升是在没有进行大量预训练的情况下实现的，表明VideoMambaPro具有很强的泛化能力。

🎯 应用场景

该研究成果可应用于各种视频理解任务，如视频分类、动作识别、视频描述等。通过提高视频理解模型的效率和准确性，可以改善智能监控、自动驾驶、视频搜索等领域的应用效果，并为未来的视频分析技术发展奠定基础。

📄 摘要（原文）

Video understanding requires the extraction of rich spatio-temporal representations, which transformer models achieve through self-attention. Unfortunately, self-attention poses a computational burden. In NLP, Mamba has surfaced as an efficient alternative for transformers. However, Mamba's successes do not trivially extend to vision tasks, including those in video analysis. In this paper, we theoretically analyze the differences between self-attention and Mamba. We identify two limitations in Mamba's token processing: historical decay and element contradiction. We propose VideoMambaPro (VMP) that solves the identified limitations by adding masked backward computation and elemental residual connections to a VideoMamba backbone. Differently sized VideoMambaPro models surpass VideoMamba by 1.6-2.8% and 1.1-1.9% top-1 on Kinetics-400 and Something-Something V2, respectively. Even without extensive pre-training, our models present an increasingly attractive and efficient alternative to current transformer models. Moreover, our two solutions are orthogonal to recent advances in Vision Mamba models, and are likely to provide further improvements in future models.