Beyond Attention: Learning Spatio-Temporal Dynamics with Emergent Interpretable Topologies

📄 arXiv: 2506.00770v1 📥 PDF

作者: Sai Vamsi Alisetti, Vikas Kalagi, Sanjukta Krishnagopal

分类: cs.LG, cs.AI, cs.SI

发布日期: 2025-06-01

备注: 13 pages, 10 figures, workshop

💡 一句话要点

提出InterGAT模型，通过可解释拓扑学习提升时空预测性能与效率。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 时空预测 图神经网络 注意力机制 可解释性 拓扑学习

📋 核心要点

  1. 现有GAT模型依赖预定义图结构和注意力机制，引入了归纳偏置和计算负担，限制了模型的可解释性。
  2. InterGAT通过学习节点间的交互矩阵，无需预定义图结构，从而发现潜在的空间关系，提升模型灵活性。
  3. 实验表明，InterGAT-GRU在时空预测任务上显著优于GAT-GRU，同时降低了训练时间，并具备拓扑可解释性。

📝 摘要（中文）

时空预测在交通预测、能源需求建模和天气监测等应用中至关重要。图注意力网络(GATs)虽然常用于建模空间依赖关系，但它们依赖于预定义的邻接结构和动态注意力得分，引入了归纳偏置和计算开销，从而降低了可解释性。我们提出了一种简化的GAT替代方案InterGAT，它用完全可学习的对称节点交互矩阵取代了掩码注意力，无需依赖固定的图拓扑即可捕获潜在的空间关系。我们的框架InterGAT-GRU，结合了基于GRU的时间解码器，在预测精度上优于基线GAT-GRU，在SZ-Taxi数据集上至少提高了21%，在Los-Loop数据集上提高了6%（所有预测范围均为15到60分钟）。此外，与GAT-GRU基线相比，训练时间减少了60-70%。至关重要的是，学习到的交互矩阵揭示了可解释的结构：它恢复了稀疏的、拓扑感知的注意力模式，与社区结构对齐。谱分析和聚类分析表明，该模型捕获了局部和全局动态，从而深入了解了驱动预测的功能拓扑。这突出了结构学习如何在动态的基于图的领域中同时支持预测、计算效率和拓扑可解释性。

🔬 方法详解

问题定义：论文旨在解决时空预测问题，现有GAT方法依赖预定义的图结构，限制了模型对复杂动态关系的建模能力，并且注意力机制引入了额外的计算开销，降低了可解释性。因此，如何设计一种更灵活、高效且可解释的时空预测模型是本文要解决的核心问题。

核心思路：论文的核心思路是使用一个完全可学习的对称节点交互矩阵来替代GAT中的注意力机制和预定义的图结构。通过学习节点之间的潜在关系，模型可以自适应地发现空间依赖，避免了手动设计图结构的局限性。对称性约束保证了节点间交互的合理性，降低了模型复杂度。

技术框架：InterGAT-GRU框架包含两个主要模块：InterGAT模块和GRU模块。InterGAT模块负责学习节点间的空间关系，通过一个可学习的对称矩阵实现。GRU模块则作为时间解码器，处理时间序列数据，预测未来的状态。整体流程是：输入时空数据，InterGAT模块学习空间依赖，然后GRU模块利用学习到的空间信息进行时间序列预测。

关键创新：最重要的技术创新点在于使用可学习的对称节点交互矩阵替代了传统的注意力机制和预定义的图结构。这种方法无需手动设计图结构，能够自适应地学习节点间的关系，并且对称性约束降低了模型复杂度，提高了训练效率。与现有方法的本质区别在于，InterGAT不再依赖于固定的图结构，而是通过学习的方式发现节点间的动态关系。

关键设计：InterGAT模块的关键设计在于对称交互矩阵的学习。该矩阵的元素表示节点之间的交互强度，通过梯度下降进行优化。损失函数通常包括预测误差和正则化项，以防止过拟合。GRU模块采用标准的设计，可以根据具体任务进行调整。论文中没有明确提及具体的参数设置，但可以推断出学习率、正则化系数等超参数需要根据数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InterGAT-GRU在SZ-Taxi数据集上相比GAT-GRU取得了至少21%的预测精度提升，在Los-Loop数据集上提升了6%。同时，训练时间减少了60-70%。学习到的交互矩阵能够恢复稀疏的、拓扑感知的注意力模式，与社区结构对齐，验证了模型的可解释性。

🎯 应用场景

该研究成果可广泛应用于交通流量预测、能源需求预测、天气预报等领域。通过学习节点间的动态关系，模型能够更准确地预测未来的状态，为城市规划、能源管理和灾害预警提供决策支持。此外，模型的可解释性有助于理解复杂系统的运行机制，为相关领域的研究提供新的思路。

📄 摘要（原文）

Spatio-temporal forecasting is critical in applications such as traffic prediction, energy demand modeling, and weather monitoring. While Graph Attention Networks (GATs) are popular for modeling spatial dependencies, they rely on predefined adjacency structures and dynamic attention scores, introducing inductive biases and computational overhead that can obscure interpretability. We propose InterGAT, a simplified alternative to GAT that replaces masked attention with a fully learnable, symmetric node interaction matrix, capturing latent spatial relationships without relying on fixed graph topologies. Our framework, InterGAT-GRU, which incorporates a GRU-based temporal decoder, outperforms the baseline GAT-GRU in forecasting accuracy, achieving at least a 21% improvement on the SZ-Taxi dataset and a 6% improvement on the Los-Loop dataset across all forecasting horizons (15 to 60 minutes). Additionally, we observed reduction in training time by 60-70% compared to GAT-GRU baseline. Crucially, the learned interaction matrix reveals interpretable structure: it recovers sparse, topology-aware attention patterns that align with community structure. Spectral and clustering analyses show that the model captures both localized and global dynamics, offering insights into the functional topology driving predictions. This highlights how structure learning can simultaneously support prediction, computational efficiency, and topological interpretabil-ity in dynamic graph-based domains.