WinTSR: A Windowed Temporal Saliency Rescaling Method for Interpreting Time Series Deep Learning Models

📄 arXiv: 2412.04532v3 📥 PDF

作者: Md. Khairul Islam, Judy Fox

分类: cs.LG, cs.AI

发布日期: 2024-12-05 (更新: 2025-03-09)

备注: 11 pages, 14 figures, GitHub https://github.com/khairulislam/Timeseries-Explained

💡 一句话要点

提出WinTSR，通过窗口化时间显著性重缩放解释时间序列深度学习模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列解释 深度学习模型 显著性分析 时间依赖性 可解释性AI

📋 核心要点

  1. 现有时间序列模型解释方法在处理时间依赖性、评估基准和数据集选择上存在局限性，难以有效解释复杂模型。
  2. WinTSR通过窗口化处理，显式捕捉时间步之间的依赖关系，并利用时间重要性来调整特征重要性，提升解释能力。
  3. 实验表明，WinTSR在多个真实数据集和先进模型上，显著优于现有局部解释方法，并提供开源框架支持。

📝 摘要（中文）

解释复杂的时间序列预测模型极具挑战，这归因于时间步之间的时序依赖性以及输入特征随时间的动态相关性。现有的解释方法存在局限性，主要体现在：侧重于分类任务，使用自定义基线模型而非最新的时间序列模型进行评估，使用简单的合成数据集，以及需要训练额外的模型。我们提出了一种新颖的解释方法，即窗口化时间显著性重缩放（WinTSR），以解决这些局限性。WinTSR显式地捕获过去时间步之间的时序依赖性，并有效地利用时间重要性来缩放特征重要性。我们使用5个具有不同架构的先进深度学习模型（包括时间序列基础模型）对WinTSR与10种最新的解释技术进行了基准测试。我们使用3个真实世界的数据集进行时间序列分类和回归。全面的分析表明，WinTSR在整体性能上显著优于其他局部解释方法。最后，我们提供了一个新颖的开源框架来解释最新的时间序列Transformer和基础模型。

🔬 方法详解

问题定义：论文旨在解决时间序列深度学习模型的可解释性问题。现有方法主要痛点在于：1) 侧重于分类任务，忽略了回归任务；2) 使用过时的基线模型进行评估，无法反映最新模型的性能；3) 使用简单合成数据，缺乏真实性；4) 需要额外训练解释模型，增加了计算成本。这些局限性使得现有方法难以有效解释复杂的时间序列模型，特别是Transformer和基础模型。

核心思路：WinTSR的核心思路是通过窗口化的方式，显式地捕捉时间步之间的时序依赖关系，并利用这些依赖关系来调整特征的重要性。具体来说，WinTSR首先计算每个时间窗口内的时间重要性，然后使用这些时间重要性来重新缩放特征的重要性。这种方法能够更准确地反映特征在不同时间窗口内的贡献，从而提高模型的可解释性。

技术框架：WinTSR的整体框架包括以下几个主要步骤：1) 窗口化处理：将时间序列数据划分为多个时间窗口。2) 时间重要性计算：计算每个时间窗口内的时间重要性，例如使用注意力机制或梯度信息。3) 特征重要性计算：计算每个特征在每个时间窗口内的重要性，例如使用梯度或扰动方法。4) 显著性重缩放：使用时间重要性来重新缩放特征的重要性，得到最终的解释结果。

关键创新：WinTSR的关键创新在于其窗口化的时间显著性重缩放机制。与现有方法相比，WinTSR能够更有效地捕捉时间依赖性，并利用这些依赖性来调整特征的重要性。此外，WinTSR不需要训练额外的解释模型，降低了计算成本。WinTSR还提供了一个开源框架，支持解释最新的时间序列Transformer和基础模型。

关键设计：WinTSR的关键设计包括：1) 窗口大小的选择：窗口大小的选择会影响时间依赖性的捕捉效果。论文可能探讨了不同窗口大小对解释结果的影响。2) 时间重要性的计算方法：可以使用不同的方法来计算时间重要性，例如注意力机制、梯度信息或扰动方法。论文可能比较了不同方法的性能。3) 特征重要性的计算方法：可以使用不同的方法来计算特征重要性，例如梯度、扰动或集成方法。论文可能比较了不同方法的性能。4) 重缩放策略：如何使用时间重要性来重新缩放特征的重要性也是一个关键设计。论文可能提出了新的重缩放策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WinTSR在三个真实世界数据集上，针对时间序列分类和回归任务，与10种最新的解释技术和5个先进的深度学习模型（包括时间序列基础模型）进行了全面的基准测试。实验结果表明，WinTSR在整体性能上显著优于其他局部解释方法。具体性能数据未知，但论文强调了WinTSR的优越性。

🎯 应用场景

WinTSR可应用于金融、医疗、工业等领域的时间序列预测模型解释。例如，在金融领域，可以解释股票价格预测模型，帮助投资者理解影响股价的关键因素；在医疗领域，可以解释疾病诊断模型，辅助医生进行决策；在工业领域，可以解释设备故障预测模型，提高设备维护效率。该研究有助于提升时间序列模型的透明度和可信度，促进其在实际场景中的应用。

📄 摘要（原文）

Interpreting complex time series forecasting models is challenging due to the temporal dependencies between time steps and the dynamic relevance of input features over time. Existing interpretation methods are limited by focusing mostly on classification tasks, evaluating using custom baseline models instead of the latest time series models, using simple synthetic datasets, and requiring training another model. We introduce a novel interpretation method, \textit{Windowed Temporal Saliency Rescaling (WinTSR)} addressing these limitations. WinTSR explicitly captures temporal dependencies among the past time steps and efficiently scales the feature importance with this time importance. We benchmark WinTSR against 10 recent interpretation techniques with 5 state-of-the-art deep-learning models of different architectures, including a time series foundation model. We use 3 real-world datasets for both time-series classification and regression. Our comprehensive analysis shows that WinTSR significantly outperforms other local interpretation methods in overall performance. Finally, we provide a novel, open-source framework to interpret the latest time series transformers and foundation models.