SPAT: Sensitivity-based Multihead-attention Pruning on Time Series Forecasting Models

📄 arXiv: 2505.08768v1 📥 PDF

作者: Suhan Guo, Jiahong Deng, Mengjun Yi, Furao Shen, Jian Zhao

分类: cs.LG

发布日期: 2025-05-13

💡 一句话要点

SPAT：基于敏感度的多头注意力剪枝方法，提升时间序列预测模型效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间序列预测 注意力机制 模型剪枝 模型压缩 敏感度分析

📋 核心要点

  1. 现有基于Attention的时间序列预测模型计算成本高昂，需要有效的模型压缩方法。
  2. SPAT通过SEND指标评估并移除不重要的整个注意力模块，避免过拟合且易于硬件加速。
  3. 实验表明，SPAT在精度和效率上均优于现有方法，尤其在零样本预测中表现突出。

📝 摘要（中文）

本文提出了一种结构化的剪枝方法SPAT（Attention敏感度剪枝），旨在选择性地移除多变量时间序列预测模型中基于Attention架构的冗余注意力机制，从而获得高效的模型。与以往的方法不同，SPAT着重于移除整个注意力模块，降低过拟合风险，并在无需专用硬件的情况下实现加速。SPAT提出了一种动态敏感度指标，即敏感度增强归一化离散度（SEND），用于衡量预训练阶段每个注意力模块的重要性。在多变量数据集上的实验表明，SPAT剪枝后的模型在MSE上降低了2.842%，在MAE上降低了1.996%，在FLOPs上降低了35.274%。此外，SPAT剪枝后的模型在标准和零样本推理中均优于现有的轻量级、基于Mamba和基于LLM的SOTA方法，突出了保留最有效的注意力机制的重要性。代码已公开。

🔬 方法详解

问题定义：现有的基于注意力机制的时间序列预测模型，虽然精度较高，但计算复杂度也较高，难以部署在资源受限的设备上。以往的剪枝方法通常针对Attention内部的参数进行剪枝，容易导致过拟合，且需要专门的硬件支持才能实现加速。因此，需要一种更有效的剪枝方法，能够在保证预测精度的前提下，显著降低模型的计算复杂度，并易于部署。

核心思路：论文的核心思路是，通过评估每个注意力模块的重要性，并移除不重要的整个模块，从而实现模型的压缩。这种结构化的剪枝方法可以避免对Attention内部参数的微调，降低过拟合的风险，并且可以直接减少模型的层数，从而实现真正的加速。论文提出了SEND指标来衡量每个注意力模块的重要性。

技术框架：SPAT方法主要包含两个阶段：预训练阶段和剪枝阶段。在预训练阶段，使用原始的基于Attention的模型在训练数据集上进行训练。在剪枝阶段，首先计算每个注意力模块的SEND值，然后根据SEND值的大小，移除一部分注意力模块。最后，对剪枝后的模型进行微调，以恢复模型的预测精度。整体流程简单清晰，易于实现。

关键创新：论文最重要的技术创新点在于提出了SEND指标，用于衡量每个注意力模块的重要性。SEND指标综合考虑了注意力模块的敏感度和离散度，能够更准确地评估注意力模块对模型预测结果的影响。与以往的敏感度指标不同，SEND指标是动态的，能够根据训练数据的变化而自适应地调整。

关键设计：SEND指标的计算公式为：SEND = Sensitivity * Normalized Dispersion。其中，Sensitivity表示注意力模块输出对模型预测结果的影响程度，可以通过计算梯度来得到。Normalized Dispersion表示注意力模块输出的多样性，可以通过计算输出的方差并进行归一化来得到。在剪枝过程中，可以设置一个阈值，将SEND值低于该阈值的注意力模块移除。阈值的选择需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPAT剪枝后的模型在多个多变量时间序列数据集上取得了显著的性能提升。例如，在MSE上降低了2.842%，在MAE上降低了1.996%，在FLOPs上降低了35.274%。更重要的是，SPAT剪枝后的模型在标准和零样本推理中均优于现有的轻量级、基于Mamba和基于LLM的SOTA方法，证明了SPAT的有效性。

🎯 应用场景

SPAT可应用于各种需要进行时间序列预测的场景，例如金融市场的股票价格预测、电力系统的负荷预测、交通运输的流量预测等。通过降低模型的计算复杂度，SPAT可以使这些模型更容易部署在移动设备或嵌入式系统中，从而实现实时的预测和决策。此外，SPAT还可以用于模型的压缩和加速，提高模型的训练和推理效率。

📄 摘要（原文）

Attention-based architectures have achieved superior performance in multivariate time series forecasting but are computationally expensive. Techniques such as patching and adaptive masking have been developed to reduce their sizes and latencies. In this work, we propose a structured pruning method, SPAT ($\textbf{S}$ensitivity $\textbf{P}$runer for $\textbf{At}$tention), which selectively removes redundant attention mechanisms and yields highly effective models. Different from previous approaches, SPAT aims to remove the entire attention module, which reduces the risk of overfitting and enables speed-up without demanding specialized hardware. We propose a dynamic sensitivity metric, $\textbf{S}$ensitivity $\textbf{E}$nhanced $\textbf{N}$ormalized $\textbf{D}$ispersion (SEND) that measures the importance of each attention module during the pre-training phase. Experiments on multivariate datasets demonstrate that SPAT-pruned models achieve reductions of 2.842% in MSE, 1.996% in MAE, and 35.274% in FLOPs. Furthermore, SPAT-pruned models outperform existing lightweight, Mamba-based and LLM-based SOTA methods in both standard and zero-shot inference, highlighting the importance of retaining only the most effective attention mechanisms. We have made our code publicly available https://anonymous.4open.science/r/SPAT-6042.