MS2CAST: A Video Anomaly Detection Framework via Multi-Scale Spatial Cross-Attention and Efficient Spatiotemporal Networks

📄 arXiv: 2610.29649v1 📥 PDF

作者: Ali Safaei, Mohammad Kazemi

分类: cs.CV

发布日期: 2026-10-21

💡 一句话要点

提出MS2CAST框架以解决视频异常检测中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频异常检测 半监督学习 多尺度交叉注意力 时空动态建模 计算机视觉

📋 核心要点

  1. 现有视频异常检测方法依赖于光流网络，计算复杂度高且难以实时应用。
  2. MS2CAST框架通过多尺度交叉注意力编码器和时空模块，提升了异常检测的效率和准确性。
  3. 在UCSD Ped2、CUHK Avenue和ShanghaiTech数据集上，MS2CAST的性能与顶尖技术相当，且内存占用低于1GB。

📝 摘要（中文）

视频异常检测（VAD）是监控系统中的一项挑战性任务，因异常事件的稀缺性和多样性而变得复杂。尽管半监督VAD方法已推动了该领域的发展，但许多方法依赖于计算密集的光流网络来捕捉运动动态。卷积神经网络（CNN）广泛用于空间编码，但其有效感受野高度局限。为了解决这些问题，本文提出了MS2CAST，一个端到端的半监督预测VAD框架。我们采用多尺度交叉注意力编码器融合来自视觉变换器和CNN的层次特征表示，以利用其不同的感受野。通过集成两种可互换的时空模块，我们在潜在空间中建模时空动态，避免了光流估计的需求。实验结果表明，该方法在多个数据集上表现出色，GPU内存使用峰值低于1GB。

🔬 方法详解

问题定义：本文旨在解决视频异常检测中的计算复杂性和局部感受野限制，现有方法多依赖光流网络，导致实时性差。

核心思路：MS2CAST框架通过结合多尺度交叉注意力编码器和两种时空模块，充分利用不同网络的特征表示，从而提高检测性能。

技术框架：整体架构包括多尺度交叉注意力编码器、SwinLSTM和VMRNN两种时空模块，以及一个综合的目标函数，确保像素级准确性和结构完整性。

关键创新：最重要的创新在于引入多尺度交叉注意力机制，融合视觉变换器与CNN的特征，克服了传统方法的局限性。

关键设计：采用L1损失、梯度差异损失（GDL）和多尺度结构相似性指数（MS-SSIM）作为目标函数，确保检测结果的清晰度和结构保真度。

📊 实验亮点

在UCSD Ped2、CUHK Avenue和ShanghaiTech数据集上，MS2CAST框架的帧级接收器操作特征曲线（ROC AUC）得分与顶尖技术相当，且峰值GPU内存使用低于1GB，显示出其在性能和资源利用上的优势。

🎯 应用场景

该研究在视频监控、智能交通、公共安全等领域具有广泛的应用潜力。通过提高视频异常检测的效率和准确性，MS2CAST能够帮助监控系统更好地识别潜在的安全威胁，进而提升公共安全管理的智能化水平。

📄 摘要（原文）

Video anomaly detection (VAD) is a challenging task for surveillance systems due to the scarcity and diversity of anomalous events. While semi-supervised VAD approaches have advanced the field, many rely on computationally intensive optical flow networks to capture motion dynamics. Convolutional neural networks (CNNs) are also widely used for spatial encoding, but their effective receptive field is highly local. To address these limitations, we introduce MS2CAST, an end-to-end semi-supervised predictive VAD framework. For spatial encoding, we employ a multi-scale cross-attention encoder that fuses the hierarchical feature representations from a vision transformer (MViTv2-S) and a CNN (ConvNeXt-T) to exploit their distinct receptive fields. To model spatiotemporal dynamics without optical flow estimation, we integrate two interchangeable spatiotemporal modules in the latent space. One module (SwinLSTM) incorporates a Swin Transformer, while the other (VMRNN) integrates Vision Mamba blocks. Our objective function combines L1 loss, Gradient Difference Loss (GDL), and Multi-Scale Structural Similarity Index Measure (MS-SSIM) to ensure pixel-wise accuracy, sharpness, and structural integrity. Evaluations across the UCSD Ped2, CUHK Avenue, and ShanghaiTech datasets demonstrate frame-level Receiver Operating Characteristic (ROC) Area Under the Curve (AUC) scores that are competitive with top-tier techniques while maintaining a peak GPU memory usage of under 1 GB.