SAUC: Sparsity-Aware Uncertainty Calibration for Spatiotemporal Prediction with Graph Neural Networks

📄 arXiv: 2409.08766v1 📥 PDF

作者: Dingyi Zhuang, Yuheng Bu, Guang Wang, Shenhao Wang, Jinhua Zhao

分类: cs.LG

发布日期: 2024-09-13

备注: Paper accepted by ACM SIGSPATIAL 2024

DOI: 10.1145/3678717.3691241

💡 一句话要点

提出SAUC框架，解决时空图神经网络在稀疏数据上的不确定性校准问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时空预测 图神经网络 不确定性量化 稀疏数据 不确定性校准

📋 核心要点

  1. 现有的时空预测方法主要关注确定性预测，忽略了数据中固有的不确定性，尤其是在稀疏数据集中。
  2. SAUC框架通过事后校准的方式，分别针对零值和非零值进行不确定性校准，提升预测的可靠性。
  3. 实验表明，SAUC在稀疏交通事故和城市犯罪预测中，零条目的校准误差降低了20%，验证了其有效性。

📝 摘要（中文）

量化不确定性对于稳健和可靠的预测至关重要。然而，现有的时空深度学习主要关注确定性预测，忽略了此类预测中固有的不确定性。特别是，高度细粒度的时空数据集通常是稀疏的，这给预测和不确定性量化带来了额外的挑战。为了解决这些问题，本文提出了一种新颖的事后稀疏感知不确定性校准（SAUC）框架，该框架校准零值和非零值的不确定性。为了开发SAUC，我们首先在预校准阶段将最先进的确定性时空图神经网络（ST-GNN）修改为概率模型。然后，我们使用分位数方法校准概率ST-GNN的零值和非零值。通过广泛的实验，我们证明了SAUC可以有效地拟合稀疏数据的方差，并在各种粒度下的两个真实世界的时空数据集上进行泛化。具体而言，我们的经验实验表明，在稀疏的交通事故和城市犯罪预测中，零条目的校准误差减少了20%。总的来说，这项工作展示了SAUC框架的理论和经验价值，从而弥合了不确定性量化和时空预测之间的重要差距。

🔬 方法详解

问题定义：论文旨在解决时空预测任务中，由于数据稀疏性导致的不确定性量化不准确的问题。现有方法通常只关注确定性预测，无法提供可靠的不确定性估计，这在安全攸关的应用中是不可接受的。尤其是在高度稀疏的时空数据上，这种问题会更加严重。

核心思路：论文的核心思路是采用一种事后（post-hoc）的不确定性校准方法，即SAUC。该方法首先将现有的确定性时空图神经网络（ST-GNN）转化为概率模型，然后分别针对零值和非零值进行不确定性校准。这样做的目的是为了更好地适应稀疏数据的特性，提高不确定性估计的准确性。

技术框架：SAUC框架主要包含两个阶段：预校准阶段和校准阶段。在预校准阶段，首先将现有的确定性ST-GNN修改为概率模型，例如通过引入dropout或变分推断等方法。在校准阶段，使用分位数回归等方法，分别针对零值和非零值进行不确定性校准。具体来说，对于每个预测值，SAUC会估计其置信区间，并确保该置信区间的覆盖率与预设的置信水平相符。

关键创新：SAUC的关键创新在于其稀疏感知的不确定性校准方法。与传统的校准方法不同，SAUC分别针对零值和非零值进行校准，从而更好地适应稀疏数据的特性。此外，SAUC采用事后的校准方式，可以方便地应用于各种现有的ST-GNN模型，而无需重新训练整个模型。

关键设计：SAUC的关键设计包括：1) 将确定性ST-GNN转化为概率模型的方法，例如使用dropout或变分推断；2) 针对零值和非零值分别进行校准的分位数回归模型；3) 用于评估校准效果的指标，例如覆盖率误差（Calibration Error）。论文中使用了特定的分位数回归模型和损失函数，以确保校准后的不确定性估计是准确和可靠的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAUC在两个真实世界的时空数据集上取得了显著的性能提升。在稀疏的交通事故和城市犯罪预测中，SAUC将零条目的校准误差降低了20%。此外，SAUC还能够有效地拟合稀疏数据的方差，并在各种粒度下进行泛化。这些结果表明，SAUC是一种有效且通用的不确定性校准方法。

🎯 应用场景

该研究成果可应用于交通流量预测、城市犯罪预测、疾病传播建模等领域。准确的不确定性量化能够帮助决策者更好地评估风险，制定更合理的策略。例如，在交通流量预测中，可以利用SAUC预测交通拥堵的可能性，从而提前采取措施缓解拥堵。在城市犯罪预测中，可以预测犯罪高发区域，从而加强警力部署。

📄 摘要（原文）

Quantifying uncertainty is crucial for robust and reliable predictions. However, existing spatiotemporal deep learning mostly focuses on deterministic prediction, overlooking the inherent uncertainty in such prediction. Particularly, highly-granular spatiotemporal datasets are often sparse, posing extra challenges in prediction and uncertainty quantification. To address these issues, this paper introduces a novel post-hoc Sparsity-awar Uncertainty Calibration (SAUC) framework, which calibrates uncertainty in both zero and non-zero values. To develop SAUC, we firstly modify the state-of-the-art deterministic spatiotemporal Graph Neural Networks (ST-GNNs) to probabilistic ones in the pre-calibration phase. Then we calibrate the probabilistic ST-GNNs for zero and non-zero values using quantile approaches.Through extensive experiments, we demonstrate that SAUC can effectively fit the variance of sparse data and generalize across two real-world spatiotemporal datasets at various granularities. Specifically, our empirical experiments show a 20\% reduction in calibration errors in zero entries on the sparse traffic accident and urban crime prediction. Overall, this work demonstrates the theoretical and empirical values of the SAUC framework, thus bridging a significant gap between uncertainty quantification and spatiotemporal prediction.