Towards Gradient-based Time-Series Explanations through a SpatioTemporal Attention Network

📄 arXiv: 2405.17444v1 📥 PDF

作者: Min Hun Lee

分类: cs.CV, cs.LG

发布日期: 2024-05-18

💡 一句话要点

提出基于时空注意力网络的梯度时间序列解释方法，用于医学活动视频关键帧识别。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时间序列解释 时空注意力网络 Transformer 视频分类 关键帧识别

📋 核心要点

  1. 现有时间序列解释方法在处理复杂时空关系时存在不足，难以准确识别视频中的关键帧。
  2. 论文提出基于Transformer的时空注意力网络(STAN)，结合全局和局部视图，学习时间序列数据的时空特征。
  3. 实验表明，STAN模型能够有效识别医学活动视频中的重要帧，为时间序列解释提供了一种新思路。

📝 摘要（中文）

本文探索了使用基于Transformer的时空注意力网络(STAN)进行基于梯度的时间序列解释的可行性。首先，我们使用全局和局部数据视图以及时间序列数据的弱监督标签（即活动类型）训练了用于视频分类的STAN模型。然后，我们利用基于梯度的XAI技术（例如，显著性图）来识别时间序列数据中的显著帧。根据使用四个医学相关活动数据集的实验，STAN模型展示了其识别视频重要帧的潜力。

🔬 方法详解

问题定义：现有时间序列解释方法，特别是应用于视频分析时，难以有效捕捉视频帧之间的时空依赖关系，导致无法准确识别对分类结果起关键作用的帧。这对于医学视频分析等领域，需要精确理解视频内容的应用场景来说，是一个显著的痛点。

核心思路：论文的核心思路是利用Transformer强大的时空建模能力，构建一个时空注意力网络(STAN)，通过学习视频帧之间的时空关系，从而更准确地识别对分类结果有重要影响的关键帧。通过结合全局和局部视图，模型能够更好地理解视频内容。

技术框架：STAN模型整体架构包含以下几个主要模块：1) 输入层：接收视频帧序列作为输入，并提取全局和局部特征。2) 时空注意力层：利用Transformer的自注意力机制，学习视频帧之间的时空依赖关系。3) 分类层：根据学习到的时空特征，对视频进行分类。4) 解释层：利用基于梯度的XAI技术（如显著性图），根据分类结果反向传播梯度，识别对分类结果贡献最大的关键帧。

关键创新：论文的关键创新在于将Transformer架构应用于时间序列解释，并结合基于梯度的XAI技术，实现对视频关键帧的识别。与传统的时间序列解释方法相比，STAN模型能够更好地捕捉视频帧之间的时空依赖关系，从而更准确地识别关键帧。

关键设计：在网络结构方面，STAN模型采用了多头注意力机制，以捕捉不同类型的时空关系。在损失函数方面，论文使用了交叉熵损失函数，以优化视频分类的准确率。在训练过程中，论文使用了弱监督学习方法，利用视频的活动类型标签来指导模型的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，STAN模型在四个医学相关活动数据集上表现出识别视频重要帧的潜力。虽然论文中没有提供具体的性能指标和对比基线，但强调了STAN模型在识别医学视频关键帧方面的有效性，为后续研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于医学视频分析、行为识别、异常检测等领域。例如，在医学视频分析中，可以利用该方法自动识别手术视频中的关键步骤，辅助医生进行诊断和治疗。此外，该方法还可以应用于智能监控系统，自动检测异常行为，提高安全防范能力。

📄 摘要（原文）

In this paper, we explore the feasibility of using a transformer-based, spatiotemporal attention network (STAN) for gradient-based time-series explanations. First, we trained the STAN model for video classifications using the global and local views of data and weakly supervised labels on time-series data (i.e. the type of an activity). We then leveraged a gradient-based XAI technique (e.g. saliency map) to identify salient frames of time-series data. According to the experiments using the datasets of four medically relevant activities, the STAN model demonstrated its potential to identify important frames of videos.