Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues

📄 arXiv: 2609.40014v1 📥 PDF

作者: Sindhuja Penchala, Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz, Sudip Mittal, Shahram Rahimi

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出多模态学习方法以识别暴力事件前的行为线索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 行为识别 暴力事件预测 视频分析 深度学习

📋 核心要点

  1. 现有方法主要集中在暴力事件发生后的检测，缺乏对事件前行为线索的有效识别。
  2. 本研究提出了一种多模态学习方法，通过分析面部、音频和身体运动特征来识别暴力事件的前期风险。
  3. 实验结果显示，结合所有模态的模型在准确率和F1-score等指标上均显著优于单一模态，验证了多模态融合的有效性。

📝 摘要（中文）

本研究关注于在暴力事件发生前，通过多模态视频信号识别短期风险。我们构建了一个二元的正常与风险设置，利用443个样本的时序标注XD-Violence片段。每个样本由一个可变长度的前事件片段组成，事件本身不包含在输入中。我们评估了面部外观、时间对齐的音频和基于关键点跟踪的身体运动特征三种信息源。通过对Swin-Tiny、ViT-Tiny和DeiT-Tiny的控制消融实验，结果表明，结合所有模态的效果优于单独使用任何组合。最佳配置为Deit-Tiny，结合音频、面部外观和运动，测试集上取得了91.21%的准确率和96.38%的ROC-AUC。

🔬 方法详解

问题定义：本研究旨在解决暴力事件发生前的行为线索识别问题。现有方法多集中于事件发生后的检测，未能有效利用事件前的行为信息。

核心思路：通过多模态学习，结合面部外观、音频信号和身体运动特征，识别短期内的暴力风险。该设计旨在利用不同模态的信息互补性，提高识别准确性。

技术框架：整体架构包括数据预处理、特征提取和模型训练三个主要阶段。数据预处理阶段对XD-Violence片段进行时序标注，特征提取阶段分别从面部、音频和运动中提取特征，最后通过深度学习模型进行训练与评估。

关键创新：本研究的主要创新在于首次系统性地将多模态信号结合用于暴力事件前的风险识别，突破了传统单一模态方法的局限。

关键设计：在模型设计上，使用了Swin-Tiny、ViT-Tiny和DeiT-Tiny等不同架构进行对比，结合音频、面部外观和运动特征的最佳配置为Deit-Tiny，采用了适当的损失函数以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，结合所有模态的模型在测试集上取得了91.21%的准确率、88.96%的平衡准确率、93.65%的F1-score和96.38%的ROC-AUC，显著优于其他单一模态组合，验证了多模态信息融合的有效性。

🎯 应用场景

该研究的潜在应用场景包括公共安全监控、校园安全管理和社交媒体内容审核等领域。通过提前识别暴力风险，可以有效预防事件的发生，提升社会安全水平。未来，该技术有望与智能监控系统结合，形成自动化的风险预警机制。

📄 摘要（原文）

Detecting violence after it begins is important from recognizing behavioral cues that appear immediately beforehand. This work studies short-horizon pre-incident risk recognition from multimodal video signals. We construct a binary Normal-versus-Risky setting from temporally annotated XD-Violence clips, using 443 samples with source-level separation across training, validation, and test sets. Each sample consists of a variable-length pre-incident clip, with its duration determined by the observable behavioral context preceding the incident. The inci- dent itself is excluded from all input clips. We evaluate three complementary information sources: facial-region appearance, temporally aligned audio, and body-motion features derived from tracked keypoints. Controlled ablations are performed with Swin-Tiny, ViT-Tiny, and DeiT-Tiny to measure the contribution of each modality under the same split. Results show that combining all modalities is more effective than using any other combination alone. The best configuration, Deit-Tiny with audio, facial appearance, and motion, achieves 91.21% accuracy, 88.96% balanced accuracy, 93.65% F1-score, and 96.38% ROC-AUC on the held-out test set. These results suggest that complementary appearance, acoustic, and kinematic cues provide useful evidence for recognizing elevated pre-incident risk.