Linear Attention is Enough in Spatial-Temporal Forecasting
作者: Xinyu Ning
分类: cs.LG, cs.AI
发布日期: 2024-08-17 (更新: 2024-09-13)
🔗 代码/项目: GITHUB
💡 一句话要点
提出STformer与NSTformer以解决交通预测中的动态拓扑问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交通预测 空间-时间建模 Transformer 动态拓扑 机器学习 自注意力机制 Nyström方法
📋 核心要点
- 现有方法在处理交通预测任务时，难以有效捕捉动态拓扑结构，且在空间和时间关系的学习上存在挑战。
- 本文提出将不同时间步的节点视为独立的空间-时间标记，利用基础Transformer学习复杂的空间-时间模式，设计了STformer。
- 实验结果显示，所提方法在多个交通数据集上实现了最先进的性能，且计算成本相对较低。
📝 摘要（中文）
交通预测任务作为空间-时间预测的代表性场景，因其在空间和时间维度上的复杂关联而受到机器学习社区的广泛关注。现有方法通常将道路网络视为空间-时间图，独立处理空间和时间表示，然而这些方法在捕捉道路网络的动态拓扑、消息传递机制和过度平滑等方面存在困难。为了解决这些问题，本文提出将不同时间步的节点视为独立的空间-时间标记，并将其输入到基础Transformer中以学习复杂的空间-时间模式，设计了STformer，达到了当前的最优性能。考虑到其二次复杂度，本文还基于Nyström方法提出了NSTformer，以线性复杂度近似自注意力，并在某些情况下表现出更好的效果。大量实验结果表明，所提方法在交通数据集上以可承受的计算成本实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决交通预测任务中现有方法无法有效捕捉动态拓扑结构的问题，现有方法在空间和时间关系的学习上存在独立处理的局限性。
核心思路：通过将不同时间步的节点视为独立的空间-时间标记，利用基础Transformer模型来学习复杂的空间-时间模式，从而克服传统方法的不足。
技术框架：整体架构包括将时间序列数据转化为空间-时间标记，输入到Transformer中进行处理，模型通过自注意力机制捕捉空间和时间的复杂关系。
关键创新：提出了STformer和NSTformer，后者通过Nyström方法实现了线性复杂度的自注意力计算，且在某些情况下表现优于STformer，显著提升了计算效率。
关键设计：在模型设计中，采用了适当的参数设置和损失函数，确保模型在学习过程中能够有效捕捉空间和时间的动态变化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，STformer和NSTformer在多个交通数据集上均实现了最先进的性能，尤其是在计算效率上，NSTformer在某些情况下的表现优于STformer，展示了显著的性能提升，具体数据未详述。
🎯 应用场景
该研究的潜在应用领域包括智能交通系统、城市交通管理和自动驾驶等。通过提高交通预测的准确性，可以有效优化交通流量，减少拥堵，提高出行效率，具有重要的实际价值和社会影响。
📄 摘要（原文）
As the most representative scenario of spatial-temporal forecasting tasks, the traffic forecasting task attracted numerous attention from machine learning community due to its intricate correlation both in space and time dimension. Existing methods often treat road networks over time as spatial-temporal graphs, addressing spatial and temporal representations independently. However, these approaches struggle to capture the dynamic topology of road networks, encounter issues with message passing mechanisms and over-smoothing, and face challenges in learning spatial and temporal relationships separately. To address these limitations, we propose treating nodes in road networks at different time steps as independent spatial-temporal tokens and feeding them into a vanilla Transformer to learn complex spatial-temporal patterns, design \textbf{STformer} achieving SOTA. Given its quadratic complexity, we introduce a variant \textbf{NSTformer} based on Nystr$\ddot{o}$m method to approximate self-attention with linear complexity but even slightly better than former in a few cases astonishingly. Extensive experimental results on traffic datasets demonstrate that the proposed method achieves state-of-the-art performance at an affordable computational cost. Our code is available at \href{https://github.com/XinyuNing/STformer-and-NSTformer}{https://github.com/XinyuNing/STformer-and-NSTformer}.