MST-GAT: A Multimodal Spatial-Temporal Graph Attention Network for Time Series Anomaly Detection

📄 arXiv: 2310.11169v1 📥 PDF

作者: Chaoyue Ding, Shiliang Sun, Jing Zhao

分类: cs.LG, cs.AI

发布日期: 2023-10-17

备注: Information Fusion 2023 accepted

DOI: 10.1016/j.inffus.2022.08.011

💡 一句话要点

提出MST-GAT以解决多模态时间序列异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态时间序列 异常检测 图注意力网络 时空关系 深度学习 可解释性 时间卷积网络

📋 核心要点

  1. 现有的深度学习方法未能有效捕捉不同模态单变量时间序列之间的时空关系，导致异常检测的假阴性和假阳性率较高。
  2. 本文提出的MST-GAT通过多模态图注意力网络和时间卷积网络来显式建模模态间的相关性，从而提升异常检测的准确性。
  3. 在四个多模态基准数据集上的实验结果显示，MST-GAT在性能上超越了现有的最先进方法，且增强了异常检测的可解释性。

📝 摘要（中文）

多模态时间序列（MTS）异常检测对于维护设备的安全与稳定至关重要，尤其是在水处理系统和航天器等领域。现有深度学习方法未能有效捕捉不同模态的单变量时间序列之间的时空关系，导致较高的假阴性和假阳性率。为此，本文提出了一种多模态时空图注意力网络（MST-GAT），通过多模态图注意力网络（M-GAT）和时间卷积网络来捕捉多模态时间序列中的时空相关性。M-GAT利用多头注意力模块和两个关系注意力模块（即模内和模间注意力）显式建模模态相关性。此外，MST-GAT同时优化重建和预测模块。实验结果表明，MST-GAT在四个多模态基准数据集上超越了现有最先进的基线方法，并通过定位最异常的单变量时间序列增强了检测到的异常的可解释性。

🔬 方法详解

问题定义：本文旨在解决多模态时间序列异常检测中的时空关系捕捉不足的问题。现有方法往往忽视了不同模态之间的相关性，导致检测效果不佳。

核心思路：MST-GAT通过结合多模态图注意力网络（M-GAT）和时间卷积网络，显式建模模态间的时空相关性，从而提高异常检测的准确性和可解释性。

技术框架：MST-GAT的整体架构包括多模态图注意力网络和时间卷积网络两个主要模块。M-GAT负责捕捉模态间的关系，而时间卷积网络则处理时间序列数据的时序特征。

关键创新：MST-GAT的主要创新在于引入了多头注意力机制和模内、模间注意力模块，使得模型能够显式捕捉不同模态之间的关系，这在现有方法中是缺乏的。

关键设计：MST-GAT的设计包括多头注意力模块的参数设置、损失函数的优化策略，以及网络结构的层次设计。这些设计使得模型在处理多模态数据时更加高效和准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个多模态基准数据集上的实验结果表明，MST-GAT在异常检测性能上显著优于现有最先进的基线方法，具体提升幅度达到XX%。此外，MST-GAT通过定位最异常的单变量时间序列，增强了检测结果的可解释性。

🎯 应用场景

该研究在多模态时间序列异常检测领域具有广泛的应用潜力，尤其适用于工业设备监控、环境监测和航天器状态评估等场景。通过提高异常检测的准确性和可解释性，MST-GAT能够帮助相关领域的工程师更好地维护设备安全与稳定，降低故障风险。

📄 摘要（原文）

Multimodal time series (MTS) anomaly detection is crucial for maintaining the safety and stability of working devices (e.g., water treatment system and spacecraft), whose data are characterized by multivariate time series with diverse modalities. Although recent deep learning methods show great potential in anomaly detection, they do not explicitly capture spatial-temporal relationships between univariate time series of different modalities, resulting in more false negatives and false positives. In this paper, we propose a multimodal spatial-temporal graph attention network (MST-GAT) to tackle this problem. MST-GAT first employs a multimodal graph attention network (M-GAT) and a temporal convolution network to capture the spatial-temporal correlation in multimodal time series. Specifically, M-GAT uses a multi-head attention module and two relational attention modules (i.e., intra- and inter-modal attention) to model modal correlations explicitly. Furthermore, MST-GAT optimizes the reconstruction and prediction modules simultaneously. Experimental results on four multimodal benchmarks demonstrate that MST-GAT outperforms the state-of-the-art baselines. Further analysis indicates that MST-GAT strengthens the interpretability of detected anomalies by locating the most anomalous univariate time series.