Detection, Retrieval, and Explanation Unified: A Violence Detection System Based on Knowledge Graphs and GAT

📄 arXiv: 2501.06224v3 📥 PDF

作者: Wen-Dong Jiang, Chih-Yung Chang, Diptendu Sinha Roy

分类: cs.CV, cs.AI

发布日期: 2025-01-07 (更新: 2025-02-06)

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出基于知识图谱和图注意力网络的暴力行为检测、检索与解释统一系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 暴力检测 知识图谱 图注意力网络 多模态学习 可解释性 视频理解 行为分析

📋 核心要点

  1. 现有暴力检测系统缺乏可解释性，且功能单一，通常仅限于分类或检索。
  2. 提出TIO系统，结合知识图谱和图注意力网络，实现检测、检索和解释三合一。
  3. 实验表明，该系统在XD-Violence和UCF-Crime数据集上有效，并揭示了旁观者数量与暴力行为的关联。

📝 摘要（中文）

近年来，基于统一多模态模型开发的暴力检测系统取得了显著成功并引起了广泛关注。然而，大多数此类系统都面临两个关键挑战：缺乏作为黑盒模型的可解释性以及功能有限，仅提供分类或检索功能。为了解决这些挑战，本文提出了一种新颖的可解释暴力检测系统，称为三合一（TIO）系统。TIO系统集成了知识图谱（KG）和图注意力网络（GAT），以提供三个核心功能：检测、检索和解释。具体来说，该系统处理每个视频帧以及大型语言模型（LLM）生成的包含潜在暴力行为的视频的文本描述。它采用ImageBind生成高维嵌入以构建知识图谱，使用GAT进行推理，并应用轻量级时间序列模块来提取视频嵌入特征。最后一步连接分类器和检索器以实现多功能输出。KG的可解释性使系统能够验证每个输出背后的推理过程。此外，本文还介绍了几种轻量级方法，以减少TIO系统的资源消耗并提高其效率。在XD-Violence和UCF-Crime数据集上进行的大量实验验证了所提出系统的有效性。一个案例研究进一步揭示了一个有趣的现象：随着旁观者数量的增加，暴力行为的发生率往往会降低。

🔬 方法详解

问题定义：现有暴力检测系统通常是黑盒模型，缺乏可解释性，难以理解其决策过程。此外，它们的功能也比较单一，通常只能进行暴力行为的分类或检索，无法提供更深入的分析和解释。这些局限性阻碍了它们在实际场景中的应用。

核心思路：论文的核心思路是将知识图谱（KG）和图注意力网络（GAT）引入暴力检测系统，利用KG来表示视频中的实体和关系，并利用GAT进行推理，从而提高系统的可解释性和功能性。通过结合大型语言模型（LLM）生成的文本描述，系统能够更全面地理解视频内容。

技术框架：TIO系统的整体架构包括以下几个主要模块：1) 视频帧和文本描述输入；2) ImageBind生成多模态嵌入；3) 基于嵌入构建知识图谱；4) GAT进行推理；5) 轻量级时间序列模块提取视频特征；6) 分类器和检索器进行多功能输出。整个流程旨在将视频内容转化为结构化的知识表示，并利用图神经网络进行推理和预测。

关键创新：该论文的关键创新在于将知识图谱和图注意力网络结合起来，用于暴力检测任务。这种方法不仅提高了系统的检测精度，还使其具有了可解释性，能够解释其决策过程。此外，该系统还集成了检测、检索和解释三种功能，使其更加全面和实用。

关键设计：论文采用ImageBind生成视频帧和文本描述的多模态嵌入，用于构建知识图谱。GAT被用于在知识图谱上进行推理，学习节点之间的关系。轻量级时间序列模块用于提取视频的时间特征。分类器和检索器则基于学习到的特征进行暴力行为的检测和检索。具体的参数设置和网络结构细节在论文中进行了详细描述，但未在摘要中体现。

📊 实验亮点

论文在XD-Violence和UCF-Crime数据集上进行了实验，验证了TIO系统的有效性。虽然摘要中没有给出具体的性能数据和提升幅度，但强调了实验结果证明了该系统的有效性。此外，案例研究揭示了旁观者数量与暴力行为之间的负相关关系，这是一个有趣的发现。

🎯 应用场景

该研究成果可应用于智能监控、公共安全、犯罪预防等领域。通过提供可解释的暴力检测结果，有助于执法部门快速响应和处理暴力事件，提高社会安全水平。未来，该系统还可扩展到其他类型的异常行为检测，具有广阔的应用前景。

📄 摘要（原文）

Recently, violence detection systems developed using unified multimodal models have achieved significant success and attracted widespread attention. However, most of these systems face two critical challenges: the lack of interpretability as black-box models and limited functionality, offering only classification or retrieval capabilities. To address these challenges, this paper proposes a novel interpretable violence detection system, termed the Three-in-One (TIO) System. The TIO system integrates knowledge graphs (KG) and graph attention networks (GAT) to provide three core functionalities: detection, retrieval, and explanation. Specifically, the system processes each video frame along with text descriptions generated by a large language model (LLM) for videos containing potential violent behavior. It employs ImageBind to generate high-dimensional embeddings for constructing a knowledge graph, uses GAT for reasoning, and applies lightweight time series modules to extract video embedding features. The final step connects a classifier and retriever for multi-functional outputs. The interpretability of KG enables the system to verify the reasoning process behind each output. Additionally, the paper introduces several lightweight methods to reduce the resource consumption of the TIO system and enhance its efficiency. Extensive experiments conducted on the XD-Violence and UCF-Crime datasets validate the effectiveness of the proposed system. A case study further reveals an intriguing phenomenon: as the number of bystanders increases, the occurrence of violent behavior tends to decrease.