VADMamba: Exploring State Space Models for Fast Video Anomaly Detection

📄 arXiv: 2503.21169v1 📥 PDF

作者: Jiahao Lyu, Minghua Zhao, Jing Hu, Xuewen Huang, Yifei Chen, Shuangli Du

分类: cs.CV

发布日期: 2025-03-27

备注: Accpeted by ICME 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出VADMamba，利用状态空间模型加速视频异常检测，提升推理速度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频异常检测 状态空间模型 Mamba 多任务学习 帧预测 光流重建 矢量量化 推理加速

📋 核心要点

  1. 现有视频异常检测方法主要基于CNN或Transformer，虽然精度高，但推理速度较慢，难以满足实时性需求。
  2. VADMamba利用Mamba模型在长序列建模和计算效率上的优势，结合帧预测和光流重建的多任务学习框架。
  3. 实验结果表明，VADMamba在保证检测精度的前提下，显著提升了推理速度，在三个基准数据集上表现出优越性。

📝 摘要（中文）

本文提出了一种基于状态空间模型Mamba的视频异常检测方法VADMamba，旨在提高推理速度。VADMamba基于多任务学习，同时进行帧预测和光流重建。具体而言，论文提出了VQ-Mamba Unet (VQ-MaU) 框架，该框架结合了矢量量化(VQ)层和基于Mamba的非负视觉状态空间(NVSS)块。此外，两个独立的VQ-MaU网络分别预测帧和重建相应的光流，并通过clip级别的融合评估策略进一步提高准确性。实验结果表明，所提出的VADMamba在三个基准数据集上验证了其有效性，并且在推理速度方面优于以前的工作。

🔬 方法详解

问题定义：视频异常检测旨在识别视频中不符合正常模式的事件。现有基于CNN或Transformer的方法虽然在精度上取得了显著进展，但计算复杂度高，推理速度慢，难以应用于对实时性有要求的场景。因此，如何在保证检测精度的前提下，提高视频异常检测的推理速度是一个关键问题。

核心思路：VADMamba的核心思路是将状态空间模型Mamba引入视频异常检测任务。Mamba模型通过选择性扫描机制，能够高效地处理长序列数据，并具有较高的计算效率。此外，论文采用多任务学习框架，同时进行帧预测和光流重建，利用两种模态的信息互补，提高检测精度。

技术框架：VADMamba的整体框架包含两个并行的VQ-MaU网络，分别用于帧预测和光流重建。每个VQ-MaU网络都包含一个矢量量化(VQ)层和一个基于Mamba的非负视觉状态空间(NVSS)块。输入视频帧首先经过VQ层进行特征提取和降维，然后通过NVSS块进行时序建模和特征表示。最后，通过解码器分别预测下一帧和重建光流。在评估阶段，采用clip级别的融合策略，综合考虑帧预测和光流重建的结果，进行异常判断。

关键创新：VADMamba的关键创新在于将Mamba模型引入视频异常检测任务，并提出了VQ-MaU框架。Mamba模型能够高效地处理长序列视频数据，显著提高了推理速度。VQ-MaU框架结合了矢量量化和非负视觉状态空间，能够有效地提取视频特征并进行时序建模。与传统的基于CNN或Transformer的方法相比，VADMamba在推理速度上具有显著优势。

关键设计：VQ-MaU网络中的VQ层用于将连续的视觉特征量化为离散的码本索引，从而降低计算复杂度。NVSS块是基于Mamba模型构建的，用于进行时序建模。损失函数包括帧预测损失和光流重建损失，用于指导网络的训练。clip级别的融合策略通过计算帧预测误差和光流重建误差的加权平均值，来判断视频片段是否异常。具体权重参数的设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VADMamba在三个基准数据集（ShanghaiTech、CUHK Avenue、UCSD Ped2）上取得了优异的性能。与现有方法相比，VADMamba在保证检测精度的前提下，显著提高了推理速度。具体性能数据未知，但论文强调了其在推理速度上的优势。

🎯 应用场景

VADMamba具有广泛的应用前景，例如智能监控、工业安全、交通管理等领域。它可以用于实时检测异常事件，例如人员跌倒、车辆违规行驶、设备故障等，从而提高安全性和效率。由于其推理速度快，VADMamba尤其适用于需要实时响应的场景。未来，可以进一步探索VADMamba在其他视频分析任务中的应用。

📄 摘要（原文）

Video anomaly detection (VAD) methods are mostly CNN-based or Transformer-based, achieving impressive results, but the focus on detection accuracy often comes at the expense of inference speed. The emergence of state space models in computer vision, exemplified by the Mamba model, demonstrates improved computational efficiency through selective scans and showcases the great potential for long-range modeling. Our study pioneers the application of Mamba to VAD, dubbed VADMamba, which is based on multi-task learning for frame prediction and optical flow reconstruction. Specifically, we propose the VQ-Mamba Unet (VQ-MaU) framework, which incorporates a Vector Quantization (VQ) layer and Mamba-based Non-negative Visual State Space (NVSS) block. Furthermore, two individual VQ-MaU networks separately predict frames and reconstruct corresponding optical flows, further boosting accuracy through a clip-level fusion evaluation strategy. Experimental results validate the efficacy of the proposed VADMamba across three benchmark datasets, demonstrating superior performance in inference speed compared to previous work. Code is available at https://github.com/jLooo/VADMamba.