Injecting Explainability and Lightweight Design into Weakly Supervised Video Anomaly Detection Systems

📄 arXiv: 2412.20201v2 📥 PDF

作者: Wen-Dong Jiang, Chih-Yung Chang, Hsiang-Chuan Chang, Ji-Yuan Chen, Diptendu Sinha Roy

分类: cs.CV, cs.AI

发布日期: 2024-12-28 (更新: 2025-09-23)

💡 一句话要点

提出TCVADS，解决弱监督视频异常检测中效率、精度和可解释性难题，适用于智慧城市监控。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 视频异常检测 知识蒸馏 跨模态学习 CLIP 智慧城市 边缘计算

📋 核心要点

  1. 现有多模态弱监督异常检测方法计算复杂度高，难以满足边缘设备对实时性和可解释性的需求。
  2. TCVADS采用两阶段策略，结合知识蒸馏和跨模态对比学习，在保证精度的同时提升效率和可解释性。
  3. 实验结果表明，TCVADS在模型性能、检测效率和可解释性方面均优于现有方法，具有实际应用价值。

📝 摘要（中文）

本文提出了一种名为TCVADS（Two-stage Cross-modal Video Anomaly Detection System）的两阶段跨模态视频异常检测系统，旨在解决智慧城市监控中弱监督异常检测（WSMAD）面临的效率、精度和可解释性问题。现有方法通常过于复杂，难以满足边缘设备的实时性和可解释性需求。TCVADS利用知识蒸馏和跨模态对比学习，实现边缘设备上高效、准确且可解释的异常检测。该系统分为粗粒度快速分类和细粒度详细分析两个阶段。第一阶段提取视频帧特征，输入到时间序列分析模块（教师模型），通过知识蒸馏传递给简化的卷积网络（学生模型）进行二分类。检测到异常后，触发第二阶段，采用细粒度多分类模型。该阶段使用CLIP进行跨模态对比学习，结合文本和图像，通过专门设计的三元组文本关系，增强可解释性并实现更精确的分类。实验结果表明，TCVADS在模型性能、检测效率和可解释性方面显著优于现有方法，为智慧城市监控应用做出了有价值的贡献。

🔬 方法详解

问题定义：论文旨在解决弱监督视频异常检测（WSMAD）在智慧城市监控应用中面临的效率、精度和可解释性挑战。现有方法，特别是多模态方法，通常计算复杂度高，难以部署在资源受限的边缘设备上，并且缺乏足够的可解释性，难以进行故障诊断和原因分析。

核心思路：论文的核心思路是采用两阶段检测框架，第一阶段进行快速粗略的异常检测，第二阶段进行细粒度的异常分类和解释。通过知识蒸馏将复杂模型（教师模型）的知识迁移到轻量级模型（学生模型），提高检测效率。利用跨模态对比学习，结合视频和文本信息，增强模型的可解释性。

技术框架：TCVADS系统包含两个主要阶段： 1. 粗粒度快速分类阶段：提取视频帧特征，输入时间序列分析模块（教师模型），然后通过知识蒸馏将知识传递给简化的卷积网络（学生模型）进行二分类，判断是否存在异常。 2. 细粒度详细分析阶段：在检测到异常后触发，使用细粒度多分类模型。利用CLIP进行跨模态对比学习，结合文本和图像，通过设计的三元组文本关系，实现更精确的分类和可解释性分析。

关键创新：该论文的关键创新在于： 1. 两阶段检测框架：兼顾了检测效率和精度，第一阶段快速筛选异常，第二阶段精细分析。 2. 知识蒸馏的应用：将复杂模型的知识迁移到轻量级模型，降低了计算复杂度，适合边缘设备部署。 3. 跨模态对比学习：利用CLIP模型，结合视频和文本信息，增强了模型的可解释性，能够提供异常类型的文本描述。

关键设计： 1. 知识蒸馏：使用时间序列分析模块作为教师模型，简化的卷积网络作为学生模型，通过最小化教师模型和学生模型的输出差异进行知识迁移。 2. 跨模态对比学习：使用CLIP模型，将视频帧和文本描述映射到同一特征空间，通过对比学习，使模型能够区分不同类型的异常。 3. 三元组文本关系：设计了专门的三元组文本关系，用于指导CLIP模型的训练，增强模型对异常类型的区分能力。

📊 实验亮点

实验结果表明，TCVADS在异常检测性能、检测效率和可解释性方面均优于现有方法。具体来说，TCVADS在数据集上的AUC指标提升了X%，检测速度提升了Y倍，并且能够提供异常类型的文本描述，增强了可解释性。与传统的单模态方法相比，TCVADS的跨模态学习策略能够更有效地利用视频和文本信息，提高检测精度。

🎯 应用场景

TCVADS可广泛应用于智慧城市监控、智能交通、工业安全等领域。例如，在智慧城市中，它可以用于检测公共场所的异常事件，如人群聚集、打架斗殴等；在智能交通中，可以用于检测交通事故、车辆违章等；在工业安全中，可以用于检测设备故障、人员违规操作等。该研究有助于提升监控系统的智能化水平，降低人工监控成本，提高安全保障能力。

📄 摘要（原文）

Weakly Supervised Monitoring Anomaly Detection (WSMAD) utilizes weak supervision learning to identify anomalies, a critical task for smart city monitoring. However, existing multimodal approaches often fail to meet the real-time and interpretability requirements of edge devices due to their complexity. This paper presents TCVADS (Two-stage Cross-modal Video Anomaly Detection System), which leverages knowledge distillation and cross-modal contrastive learning to enable efficient, accurate, and interpretable anomaly detection on edge devices.TCVADS operates in two stages: coarse-grained rapid classification and fine-grained detailed analysis. In the first stage, TCVADS extracts features from video frames and inputs them into a time series analysis module, which acts as the teacher model. Insights are then transferred via knowledge distillation to a simplified convolutional network (student model) for binary classification. Upon detecting an anomaly, the second stage is triggered, employing a fine-grained multi-class classification model. This stage uses CLIP for cross-modal contrastive learning with text and images, enhancing interpretability and achieving refined classification through specially designed triplet textual relationships. Experimental results demonstrate that TCVADS significantly outperforms existing methods in model performance, detection efficiency, and interpretability, offering valuable contributions to smart city monitoring applications.