Weakly-Supervised Spatiotemporal Anomaly Detection

📄 arXiv: 2605.13746v1 📥 PDF

作者: Urvi Gianchandani, Praveen Tirupattur, Mubarak Shah

分类: cs.CV, cs.AI

发布日期: 2026-05-13

💡 一句话要点

提出一种弱监督时空异常检测方法，仅使用视频级别标签进行训练。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 弱监督学习 异常检测 多示例学习 时空分析 视频分析

📋 核心要点

  1. 视频异常检测标注成本高昂，现有方法依赖大量标注数据。
  2. 提出基于多示例学习的弱监督方法，仅需视频级别的标签，降低标注成本。
  3. 在UCF Crime2Local数据集上验证了方法的有效性，实现了时空异常检测。

📝 摘要（中文）

本文提出了一种弱监督的异常检测方法。由于视频标注耗时，训练过程中仅使用弱视频级别标签，即给定视频，仅知道其为正常或包含异常，不使用其他标注信息训练网络。从正常或异常视频片段中提取特征，并基于分类器和多示例排序损失（MIL）确定片段时空区域的异常分数。将异常和正常视频片段分别表示为正负包，以应用MIL。此外，由于异常通常局限于帧的一部分而非整个帧，因此选择探索时间和空间异常检测。在UCF Crime2Local数据集上展示了结果，该数据集包含UCF Crime数据集一部分的时空标注。

🔬 方法详解

问题定义：论文旨在解决视频中的时空异常检测问题，现有的方法通常需要大量的像素级别或帧级别的标注，这在实际应用中是难以实现的。因此，如何在只有视频级别标签（即视频是否包含异常）的情况下进行有效的异常检测是一个挑战。

核心思路：论文的核心思路是将异常检测问题转化为一个多示例学习（MIL）问题。每个视频被视为一个“包”，视频中的每个片段被视为一个“示例”。如果视频包含异常，则该包为正包，否则为负包。MIL的目标是学习一个分类器，能够区分正包和负包，即使我们只知道包的标签，而不知道每个示例的标签。

技术框架：整体框架包括以下几个主要步骤：1) 特征提取：从视频片段中提取时空特征。2) 多示例学习：将视频片段表示为正负包，并使用MIL损失函数训练分类器。3) 异常评分：使用训练好的分类器对视频片段进行评分，评分越高表示该片段越可能是异常。4) 时空定位：根据片段的异常评分，定位视频中的异常区域。

关键创新：该方法最重要的创新点在于利用多示例学习框架，实现了在只有视频级别标签的情况下进行时空异常检测。与传统的监督学习方法相比，该方法大大降低了标注成本。此外，该方法同时考虑了时间和空间上的异常，能够更准确地定位异常事件。

关键设计：论文使用了多示例排序损失（MIL）作为损失函数，该损失函数的目标是使正包中至少有一个示例的得分高于负包中所有示例的得分。具体的网络结构和特征提取方法在论文中没有详细说明，但可以根据具体应用场景进行选择。关键在于如何有效地提取时空特征，并将其与MIL损失函数结合起来。

📊 实验亮点

论文在UCF Crime2Local数据集上进行了实验，该数据集包含UCF Crime数据集的一部分，并提供了时空标注。实验结果表明，该方法在弱监督条件下能够有效地检测时空异常，但具体的性能指标和提升幅度在摘要中未提及，需要查阅论文全文。

🎯 应用场景

该研究成果可应用于智能监控、安全巡检、工业异常检测等领域。例如，在智能监控中，可以自动检测异常行为，如打架斗殴、盗窃等。在工业异常检测中，可以检测生产线上的异常事件，如设备故障、操作失误等。该方法降低了对标注数据的依赖，使得异常检测系统更容易部署和维护。

📄 摘要（原文）

In this paper, we explore a weakly supervised method for anomaly detection. Since annotating videos is time-consuming, we only look at weak video-level labels during training. This means that given a video, we know that it is either normal or contains an anomaly, but no further annotations are used to train the network. Features are extracted from video clips that are either normal or anomalous. These features are used to determine anomaly scores for spatiotemporal regions of the clips based on a classifier and the implementation of a multiple instance ranking loss (MIL). We represent both anomalous and normal video clips as positive and negative bags, respectively, to apply MIL. Furthermore, since anomalies are usually localized to a part of a frame rather than the whole frame, we chose to explore temporal as well as spatial anomaly detection. We show our results on the UCF Crime2Local Dataset, which contains spatiotemporal annotations for a portion of the UCF Crime Dataset.