Effective Dataset Distillation for Spatio-Temporal Forecasting with Bi-dimensional Compression
作者: Taehyung Kwon, Yeonje Choi, Yeongho Kim, Kijung Shin
分类: cs.LG, cs.AI, cs.DB
发布日期: 2026-03-11
备注: to be published in the 42nd IEEE International Conference on Data Engineering (ICDE '26)
💡 一句话要点
提出STemDist，一种用于时空预测的双维度压缩数据集蒸馏方法。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 时空预测 数据集蒸馏 双维度压缩 时间序列分析 深度学习 模型训练加速 内存优化
📋 核心要点
- 现有数据集蒸馏方法在时空数据上表现不佳，因为它们通常只压缩单个维度，无法有效处理时空数据的固有高维特性。
- STemDist通过平衡地压缩时空维度来解决这个问题，从而减少训练时间和内存占用，更适合时空数据的特性。
- 实验表明，STemDist在多个真实数据集上，相比现有方法，能显著提升训练速度、降低内存消耗并提高预测精度。
📝 摘要（中文）
时空时间序列广泛应用于交通预测、天气预报等实际场景。这些数据表现为长时间跨度和多个位置的观测序列，天然地呈现为多维数据。时空预测是时空分析的核心任务，已经涌现出许多深度学习方法。然而，随着数据集规模和模型复杂度的不断增长，训练深度学习模型变得越来越耗时和耗费资源。数据集蒸馏是一种有前景的解决方案，它合成紧凑的数据集，可以有效地替代原始数据进行模型训练。尽管数据集蒸馏在包括时间序列分析在内的各个领域都取得了成功，但现有的方法仅压缩一个维度，使其不太适合时空数据集，因为空间和时间维度共同决定了数据的庞大规模。为了解决这个局限性，我们提出了STemDist，这是第一个专门用于时空时间序列预测的数据集蒸馏方法。我们解决方案的关键思想是以平衡的方式压缩时间和空间维度，从而减少训练时间和内存。我们通过在聚类级别而不是单个位置级别执行蒸馏来进一步降低蒸馏成本，并且我们使用基于子集的细粒度蒸馏技术来补充这种粗粒度方法，从而提高预测性能。在五个真实世界的数据集上，我们通过实验表明，与通用和时间序列数据集蒸馏方法相比，通过我们的STemDist方法蒸馏的数据集能够使模型训练（1）更快（高达6倍），（2）更节省内存（高达8倍），并且（3）更有效（预测误差最多降低12%）。
🔬 方法详解
问题定义：现有的数据集蒸馏方法在处理时空时间序列数据时存在局限性，主要体现在它们通常只关注时间维度或空间维度的压缩，而忽略了时空数据中两个维度之间的关联性。这导致压缩后的数据集无法充分保留原始数据的时空特征，从而影响模型的预测性能。此外，直接在每个位置上进行蒸馏计算成本高昂，难以扩展到大规模时空数据集。
核心思路：STemDist的核心思路是同时压缩时空两个维度，以更有效地保留原始数据的关键信息。通过平衡时空维度的压缩，STemDist能够生成更具代表性的蒸馏数据集，从而提高模型的预测准确性。此外，该方法还通过聚类和子集选择等策略来降低蒸馏的计算成本。
技术框架：STemDist的整体框架包括以下几个主要步骤：1) 时空数据预处理：对原始时空数据进行清洗、标准化等处理。2) 空间聚类：将空间位置划分为若干个簇，减少需要蒸馏的独立单元数量。3) 双维度压缩：在每个簇内，同时进行时间和空间维度的压缩，生成蒸馏数据集。4) 子集选择：在每个簇内，选择最具代表性的数据子集，进一步提高蒸馏数据集的质量。5) 模型训练与评估：使用蒸馏数据集训练时空预测模型，并评估其性能。
关键创新：STemDist的关键创新在于其双维度压缩策略，它能够同时考虑时间和空间维度，从而更有效地保留时空数据的特征。此外，通过聚类和子集选择等策略，STemDist能够显著降低蒸馏的计算成本，使其能够应用于大规模时空数据集。与现有方法相比，STemDist能够生成更具代表性的蒸馏数据集，从而提高模型的预测准确性。
关键设计：STemDist的关键设计包括：1) 时空压缩比例：需要根据具体数据集的特点，合理设置时间和空间维度的压缩比例。2) 聚类算法选择：可以选择K-means、DBSCAN等不同的聚类算法，以适应不同的空间数据分布。3) 子集选择策略：可以使用基于信息熵、基于距离等不同的子集选择策略，以选择最具代表性的数据子集。4) 损失函数设计：可以使用均方误差、交叉熵等不同的损失函数，以优化蒸馏数据集的生成过程。
🖼️ 关键图片
📊 实验亮点
在五个真实世界数据集上的实验结果表明，STemDist相比于现有的通用和时间序列数据集蒸馏方法，能够显著提升模型训练的效率和预测精度。具体来说，STemDist能够将训练速度提高高达6倍，内存消耗降低高达8倍，同时将预测误差降低高达12%。这些结果表明，STemDist是一种高效且有效的时空数据集蒸馏方法。
🎯 应用场景
STemDist在时空预测领域具有广泛的应用前景，例如交通流量预测、天气预报、空气质量预测、疾病传播建模等。通过使用STemDist进行数据集蒸馏，可以显著降低模型训练的计算成本和内存消耗，从而加速模型的开发和部署。此外，STemDist还可以用于保护原始数据的隐私，通过蒸馏生成匿名化的数据集，用于模型训练和研究。
📄 摘要（原文）
Spatio-temporal time series are widely used in real-world applications, including traffic prediction and weather forecasting. They are sequences of observations over extensive periods and multiple locations, naturally represented as multidimensional data. Forecasting is a central task in spatio-temporal analysis, and numerous deep learning methods have been developed to address it. However, as dataset sizes and model complexities continue to grow in practice, training deep learning models has become increasingly time- and resource-intensive. A promising solution to this challenge is dataset distillation, which synthesizes compact datasets that can effectively replace the original data for model training. Although successful in various domains, including time series analysis, existing dataset distillation methods compress only one dimension, making them less suitable for spatio-temporal datasets, where both spatial and temporal dimensions jointly contribute to the large data volume. To address this limitation, we propose STemDist, the first dataset distillation method specialized for spatio-temporal time series forecasting. A key idea of our solution is to compress both temporal and spatial dimensions in a balanced manner, reducing training time and memory. We further reduce the distillation cost by performing distillation at the cluster level rather than the individual location level, and we complement this coarse-grained approach with a subset-based granular distillation technique that enhances forecasting performance. On five real-world datasets, we show empirically that, compared to both general and time-series dataset distillation methods, datasets distilled by our STemDist method enable model training (1) faster (up to 6X) (2) more memory-efficient (up to 8X), and (3) more effective (with up to 12% lower prediction error).