Inductive Spatial Temporal Prediction Under Data Drift with Informative Graph Neural Network

📄 arXiv: 2409.13253v1 📥 PDF

作者: Jialun Zheng, Divya Saxena, Jiannong Cao, Hanchen Yang, Penghui Ruan

分类: cs.LG

发布日期: 2024-09-20

💡 一句话要点

提出INF-GNN，解决数据漂移下归纳时空预测的泛化性问题。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时空预测 数据漂移 图神经网络 归纳学习 关系重要性

📋 核心要点

  1. 现有方法在应对时空数据漂移时，侧重提取不变模式，忽略了模式多样性，导致对新实体的泛化能力不足。
  2. INF-GNN通过构建信息丰富的子图和时间记忆缓冲区，提取多样化的不变模式，增强模型对数据漂移的鲁棒性。
  3. 实验结果表明，INF-GNN在真实世界数据集上，显著优于现有方法，提升了数据漂移下的预测精度。

📝 摘要（中文）

归纳时空预测旨在将历史数据泛化到未见过的数据，这对于高度动态的场景（如交通系统、股票市场）至关重要。然而，外部事件（如城市结构增长、市场崩盘）和新兴实体（如地点、股票）会随着时间的推移导致数据漂移，从而降低预测精度。现有研究大多提取不变模式来应对数据漂移，但忽略了模式的多样性，导致对未见实体的泛化能力较差。为了解决这个问题，我们设计了一种信息丰富的图神经网络（INF-GNN），以提取多样化的不变模式并提高数据漂移下的预测精度。首先，我们构建了一个信息丰富的子图，该子图具有独特设计的度量标准——关系重要性（RI），可以有效地选择稳定的实体和不同的空间关系。该子图通过邻居合并进一步泛化新实体的数据。其次，我们提出了一个信息丰富的时间记忆缓冲区，以帮助模型强调时间间隔内使用影响函数提取的有价值的时间戳。该记忆缓冲区使INF-GNN能够辨别有影响力的时间模式。最后，RI损失优化旨在巩固模式。在大量数据漂移下，真实世界数据集上的大量实验表明，INF-GNN明显优于现有的替代方案。

🔬 方法详解

问题定义：论文旨在解决数据漂移下归纳时空预测的泛化性问题。现有方法主要通过提取不变模式来应对数据漂移，但忽略了模式的多样性，导致模型在面对新出现的实体时泛化能力较差。例如，在交通预测中，新增道路或区域会导致模型性能下降；在股票市场预测中，新上市的股票难以被准确预测。

核心思路：论文的核心思路是通过构建信息丰富的图结构和时间记忆机制，提取多样化的不变模式，从而提升模型在数据漂移下的泛化能力。具体来说，通过关系重要性（RI）度量选择稳定的实体和空间关系，构建信息丰富的子图，并利用影响函数提取有价值的时间戳，存储在时间记忆缓冲区中。

技术框架：INF-GNN的整体框架包含以下几个主要模块：1) 信息子图构建：使用关系重要性（RI）度量选择稳定的实体和空间关系，构建信息丰富的子图。2) 邻居合并：通过合并邻居节点的信息，泛化新实体的数据。3) 信息时间记忆缓冲区：利用影响函数提取时间间隔内有价值的时间戳，存储在时间记忆缓冲区中。4) 图神经网络预测：使用图神经网络对子图进行时空预测。5) RI损失优化：设计RI损失函数，巩固提取的模式。

关键创新：论文的关键创新在于：1) 提出了关系重要性（RI）度量，用于选择稳定的实体和空间关系，构建信息丰富的子图。2) 设计了信息丰富的时间记忆缓冲区，用于存储有价值的时间戳，从而捕捉重要的时间模式。3) 提出了RI损失优化，用于巩固提取的模式，提升模型的泛化能力。与现有方法相比，INF-GNN更加注重模式的多样性，能够更好地应对数据漂移。

关键设计：1) 关系重要性（RI）度量：RI的计算方式未知，但其目的是衡量实体和关系的稳定性。2) 影响函数：具体使用的影响函数类型未知，但其目的是提取时间间隔内有价值的时间戳。3) RI损失函数：RI损失函数的具体形式未知，但其目的是巩固提取的模式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在真实世界数据集上的实验结果表明，INF-GNN在数据漂移下显著优于现有方法。具体性能提升数据未知，但论文强调了其在应对数据漂移方面的优势。INF-GNN能够有效提取多样化的不变模式，提升模型的泛化能力。

🎯 应用场景

该研究成果可应用于交通流量预测、股票市场预测、传感器网络数据分析等领域。在这些领域中，数据漂移是一个普遍存在的问题，INF-GNN能够有效提升预测精度，具有重要的实际应用价值。未来，该方法可以进一步扩展到其他时空预测任务中，例如环境监测、疾病传播预测等。

📄 摘要（原文）

Inductive spatial temporal prediction can generalize historical data to predict unseen data, crucial for highly dynamic scenarios (e.g., traffic systems, stock markets). However, external events (e.g., urban structural growth, market crash) and emerging new entities (e.g., locations, stocks) can undermine prediction accuracy by inducing data drift over time. Most existing studies extract invariant patterns to counter data drift but ignore pattern diversity, exhibiting poor generalization to unseen entities. To address this issue, we design an Informative Graph Neural Network (INF-GNN) to distill diversified invariant patterns and improve prediction accuracy under data drift. Firstly, we build an informative subgraph with a uniquely designed metric, Relation Importance (RI), that can effectively select stable entities and distinct spatial relationships. This subgraph further generalizes new entities' data via neighbors merging. Secondly, we propose an informative temporal memory buffer to help the model emphasize valuable timestamps extracted using influence functions within time intervals. This memory buffer allows INF-GNN to discern influential temporal patterns. Finally, RI loss optimization is designed for pattern consolidation. Extensive experiments on real-world dataset under substantial data drift demonstrate that INF-GNN significantly outperforms existing alternatives.