FastSTI: A Fast Conditional Pseudo Numerical Diffusion Model for Spatio-temporal Traffic Data Imputation

📄 arXiv: 2410.15248v1 📥 PDF

作者: Shaokang Cheng, Nada Osman, Shiru Qu, Lamberto Ballan

分类: cs.LG

发布日期: 2024-10-20

备注: This paper has been accepted by IEEE Transactions on Intelligent Transportation Systems for publication. Permission from IEEE must be obtained for all other uses, in any current or future media

期刊: IEEE Transactions on Intelligent Transportation Systems (Early Access) 2024

DOI: 10.1109/TITS.2024.3469240

💡 一句话要点

提出FastSTI，一种快速时空交通数据填补的条件伪数值扩散模型

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时空数据填补 扩散模型 伪数值求解器 交通数据 智能交通系统

📋 核心要点

  1. 现有扩散模型在时空交通数据填补中表现出色，但采样过程缓慢，限制了其在实时性要求高的场景中的应用。
  2. FastSTI通过引入高阶伪数值求解器和预定义的方差调度对齐策略，显著加速了扩散模型的采样过程。
  3. 实验表明，FastSTI在仅需六个采样步骤的情况下，就能在不同缺失率下实现比现有方法更快的速度和更好的填补性能。

📝 摘要（中文）

高质量的时空交通数据对于智能交通系统（ITS）及其数据驱动的应用至关重要。然而，各种干扰导致的缺失数据威胁着数据采集的可靠性。最近，扩散概率模型的研究表明，深度生成模型在填补任务中具有优越性，能够精确地捕捉交通数据的时空相关性。但扩散模型的一个缺点是其缓慢的采样/去噪过程。本文旨在加速填补过程，同时保持性能。我们提出了一种用于时空交通数据填补的快速条件扩散模型（FastSTI）。为了加速过程并获得更好的性能，我们提出了应用高阶伪数值求解器。我们的方法通过在采样过程中引入预定义的方差调度对齐策略来进一步加速填补。在两种真实交通数据集（交通速度和流量）上，针对不同的缺失数据场景评估FastSTI，证明了其仅需六个采样步骤即可填补更高质量样本的能力，尤其是在高缺失率（60％〜90％）下。实验结果表明，该方法比当前最先进的模型快$\textbf{8.3} \times$，同时实现了更好的性能。

🔬 方法详解

问题定义：论文旨在解决时空交通数据填补问题，即在交通数据存在缺失的情况下，如何利用现有数据恢复缺失值。现有扩散模型虽然能有效捕捉时空相关性，但采样速度慢，难以满足实时应用需求。

核心思路：论文的核心思路是通过改进扩散模型的采样过程来加速填补。具体来说，利用高阶伪数值求解器减少采样步骤，并引入方差调度对齐策略优化采样过程，从而在保证填补质量的前提下显著提高速度。

技术框架：FastSTI 整体框架基于条件扩散模型。首先，对输入数据进行扩散过程，逐步添加噪声。然后，利用条件信息（已知的交通数据）和学习到的去噪网络，通过逆扩散过程逐步去除噪声，最终恢复出完整的交通数据。关键在于加速逆扩散过程。

关键创新：论文的关键创新在于两个方面：一是应用高阶伪数值求解器来减少采样步骤，相比于传统的 Euler 方法，高阶求解器能更快地逼近真实解；二是引入预定义的方差调度对齐策略，优化了采样过程中的方差设置，进一步提高了采样效率。

关键设计：FastSTI 使用了 DDIM (Denoising Diffusion Implicit Models) 的框架，并在此基础上进行了改进。高阶伪数值求解器使用了二阶或更高阶的 Runge-Kutta 方法。方差调度对齐策略通过预先定义一个方差序列，并在采样过程中根据当前噪声水平动态调整方差，从而更好地控制采样过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FastSTI 在两种真实交通数据集上均取得了显著的性能提升。在高缺失率（60%-90%）下，FastSTI 仅需 6 个采样步骤即可实现比当前最先进模型快 8.3 倍的速度，同时在填补精度上优于现有方法。这表明 FastSTI 在保证填补质量的同时，显著提高了效率。

🎯 应用场景

FastSTI 可应用于智能交通系统中的多种场景，例如交通流量预测、交通拥堵检测、路径规划和实时交通监控。该方法能够快速准确地填补缺失的交通数据，提高数据质量，从而提升这些应用的性能和可靠性。未来，FastSTI 还可以扩展到其他时空数据填补任务中，例如气象数据、环境监测数据等。

📄 摘要（原文）

High-quality spatiotemporal traffic data is crucial for intelligent transportation systems (ITS) and their data-driven applications. Inevitably, the issue of missing data caused by various disturbances threatens the reliability of data acquisition. Recent studies of diffusion probability models have demonstrated the superiority of deep generative models in imputation tasks by precisely capturing the spatio-temporal correlation of traffic data. One drawback of diffusion models is their slow sampling/denoising process. In this work, we aim to accelerate the imputation process while retaining the performance. We propose a fast conditional diffusion model for spatiotemporal traffic data imputation (FastSTI). To speed up the process yet, obtain better performance, we propose the application of a high-order pseudo-numerical solver. Our method further revs the imputation by introducing a predefined alignment strategy of variance schedule during the sampling process. Evaluating FastSTI on two types of real-world traffic datasets (traffic speed and flow) with different missing data scenarios proves its ability to impute higher-quality samples in only six sampling steps, especially under high missing rates (60\% $\sim$ 90\%). The experimental results illustrate a speed-up of $\textbf{8.3} \times$ faster than the current state-of-the-art model while achieving better performance.