Sherlock: Towards Multi-scene Video Abnormal Event Extraction and Localization via a Global-local Spatial-sensitive LLM

📄 arXiv: 2502.18863v1 📥 PDF

作者: Junxiao Ma, Jingjing Wang, Jiamin Luo, Peiying Yu, Guodong Zhou

分类: cs.CV, cs.AI

发布日期: 2025-02-26

💡 一句话要点

提出Sherlock模型，用于多场景视频异常事件的抽取与定位。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频异常检测 多模态学习 大语言模型 空间信息建模 全局-局部信息融合

📋 核心要点

  1. 现有视频异常检测（VAD）主要关注帧级别的异常判断，忽略了视频结构化的语义信息，如异常事件的发生主体、类型、对象和场景。
  2. Sherlock模型通过全局-局部空间增强的MoE模块（GSM）和空间不平衡调节器（SIR），分别解决全局-局部空间建模和平衡的挑战。
  3. 实验结果表明，Sherlock在M-VAE任务上显著优于其他视频LLM，证明了其有效性和全局-局部空间信息的重要性。

📝 摘要（中文）

本文提出了一种新的聊天范式任务：多场景视频异常事件抽取与定位（M-VAE），旨在提取异常事件的四元组（主体、事件类型、客体、场景）并定位该事件。作者认为该任务面临全局-局部空间建模和全局-局部空间平衡两个关键挑战。为此，本文提出了一种全局-局部空间敏感的大语言模型（LLM）Sherlock，用于解决M-VAE任务。该模型设计了一个全局-局部空间增强的MoE（GSM）模块和一个空间不平衡调节器（SIR），分别应对上述两个挑战。在M-VAE指令数据集上的大量实验表明，Sherlock优于几种先进的视频LLM，验证了全局-局部空间信息对于M-VAE任务的重要性以及Sherlock在捕获此类信息方面的有效性。

🔬 方法详解

问题定义：现有视频异常检测方法主要关注判断视频帧是否异常，而忽略了视频中结构化的语义信息，即异常事件发生的主体、事件类型、客体以及发生的场景。因此，现有方法无法提供关于异常事件的详细描述和定位，限制了其应用范围。

核心思路：本文的核心思路是利用大语言模型（LLM）的强大语义理解和推理能力，结合全局和局部的空间信息，来抽取和定位视频中的异常事件。通过设计特定的模块来增强模型对全局场景和局部细节的感知，并平衡不同空间区域的信息贡献，从而更准确地识别和描述异常事件。

技术框架：Sherlock模型的整体框架包含以下几个主要模块：1) 视频特征提取模块：用于提取视频帧的视觉特征。2) 全局-局部空间增强的MoE（GSM）模块：用于融合全局场景信息和局部细节信息，增强模型对空间上下文的理解。3) 空间不平衡调节器（SIR）：用于平衡不同空间区域的信息贡献，避免模型过度关注某些区域而忽略其他区域。4) LLM：利用大语言模型进行语义理解和推理，生成异常事件的描述和定位信息。

关键创新：Sherlock模型最重要的技术创新点在于其全局-局部空间敏感的设计。GSM模块通过混合专家模型（MoE）的方式，分别处理全局和局部的空间信息，并进行融合，从而增强模型对空间上下文的理解。SIR模块则通过调节不同空间区域的权重，平衡它们对最终结果的贡献，避免模型过度关注某些区域。

关键设计：GSM模块的关键设计在于MoE的结构和训练方式。SIR模块的关键设计在于如何计算和应用空间权重。具体的参数设置、损失函数和网络结构等技术细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

Sherlock模型在作者提出的M-VAE指令数据集上进行了大量实验，实验结果表明，Sherlock模型显著优于几种先进的视频LLM。具体的性能数据和提升幅度需要在论文中查找（未知），但总体而言，实验结果验证了全局-局部空间信息对于M-VAE任务的重要性以及Sherlock模型在捕获此类信息方面的有效性。

🎯 应用场景

该研究成果可应用于智能安防、智能监控、自动驾驶等领域。例如，在智能安防中，可以利用该模型自动检测和定位监控视频中的异常事件，提高安全预警的效率和准确性。在自动驾驶中，可以帮助车辆识别和理解周围环境中的异常行为，提高驾驶安全性。

📄 摘要（原文）

Prior studies on Video Anomaly Detection (VAD) mainly focus on detecting whether each video frame is abnormal or not in the video, which largely ignore the structured video semantic information (i.e., what, when, and where does the abnormal event happen). With this in mind, we propose a new chat-paradigm \textbf{M}ulti-scene Video Abnormal Event Extraction and Localization (M-VAE) task, aiming to extract the abnormal event quadruples (i.e., subject, event type, object, scene) and localize such event. Further, this paper believes that this new task faces two key challenges, i.e., global-local spatial modeling and global-local spatial balancing. To this end, this paper proposes a Global-local Spatial-sensitive Large Language Model (LLM) named Sherlock, i.e., acting like Sherlock Holmes to track down the criminal events, for this M-VAE task. Specifically, this model designs a Global-local Spatial-enhanced MoE (GSM) module and a Spatial Imbalance Regulator (SIR) to address the two challenges respectively. Extensive experiments on our M-VAE instruction dataset show the significant advantages of Sherlock over several advanced Video-LLMs. This justifies the importance of global-local spatial information for the M-VAE task and the effectiveness of Sherlock in capturing such information.