Get Rid of Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework
作者: Zhongchao Yi, Zhengyang Zhou, Qihe Huang, Yanjiang Chen, Liheng Yu, Xu Wang, Yang Wang
分类: cs.LG, cs.AI
发布日期: 2024-10-14 (更新: 2025-01-15)
备注: Accepted by NeurIPS 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出CMuST框架，解决城市时空数据多任务连续学习问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 时空学习 多任务学习 连续学习 城市智能 知识迁移
📋 核心要点
- 现有时空模型难以适应城市系统动态性、数据多源性和分布不平衡性带来的挑战，泛化能力受限。
- CMuST框架通过多维时空交互网络（MSTI）和滚动适应训练方案（RoAda），实现跨维度和任务的协同学习。
- 实验表明，CMuST在少量数据和新领域任务上优于现有方法，证明了其在多任务时空学习中的有效性。
📝 摘要（中文）
时空学习已成为实现城市智能的关键技术。传统的时空模型大多专注于特定任务，并假设训练集和测试集之间存在相同的分布。然而，鉴于城市系统通常是动态的、多源的且具有不平衡的数据分布，当前特定于任务的模型无法推广到新的城市条件，也无法适应新的领域，而没有明确地对各种维度和类型的城市数据之间的相互依赖性进行建模。为此，我们认为有必要提出一个连续多任务时空学习框架（CMuST）来增强集体城市智能，该框架将城市时空学习从单领域转变为协同多维和多任务学习。具体来说，CMuST提出了一个新的多维时空交互网络（MSTI），允许上下文和主要观测之间的交叉交互以及空间和时间方面的自我交互被暴露出来，这也是捕获任务级共性和个性化的核心。为了确保连续的任务学习，设计了一种新的滚动适应训练方案（RoAda），它不仅通过构建数据摘要驱动的任务提示来保留任务的独特性，而且还通过迭代模型行为建模来利用任务之间的相关模式。我们进一步建立了三个城市的多任务时空学习基准，并通过对这些数据集的广泛评估，实证地证明了CMuST的优越性。在少量流数据和新领域任务上，相对于现有的SOAT方法，CMuST取得了令人印象深刻的改进。代码可在https://github.com/DILab-USTCSZ/CMuST 获取。
🔬 方法详解
问题定义：传统时空模型通常针对特定任务设计，假设训练数据和测试数据服从相同分布。然而，现实城市环境复杂多变，数据来源广泛且分布不均，导致这些模型在新环境或新任务下的泛化能力不足。现有方法缺乏对不同维度和任务间依赖关系的有效建模，难以实现持续学习和知识迁移。
核心思路：CMuST的核心在于将城市时空学习从单任务模式转变为协同多任务模式。通过显式地建模不同维度和任务之间的相互依赖关系，CMuST旨在提升模型在复杂城市环境下的泛化能力和适应性。该框架通过多维时空交互网络（MSTI）捕获任务间的共性和个性化特征，并利用滚动适应训练方案（RoAda）实现持续学习。
技术框架：CMuST框架主要包含两个核心模块：多维时空交互网络（MSTI）和滚动适应训练方案（RoAda）。MSTI负责建模不同维度和任务之间的交互关系，提取共享特征和特定任务特征。RoAda则负责在持续学习过程中保持任务独特性，并利用任务间的相关性进行知识迁移。整体流程为：首先利用MSTI提取时空特征，然后通过RoAda进行持续训练和模型更新，最终实现多任务时空数据的预测。
关键创新：CMuST的关键创新在于其多维时空交互网络（MSTI）和滚动适应训练方案（RoAda）。MSTI允许上下文和主要观测之间的交叉交互以及空间和时间方面的自我交互，从而捕获任务级共性和个性化。RoAda通过数据摘要驱动的任务提示来保留任务的独特性，并通过迭代模型行为建模来利用任务之间的相关模式。与现有方法相比，CMuST能够更好地建模任务间的依赖关系，并实现持续学习。
关键设计：MSTI的具体网络结构未知，但其核心在于实现跨维度和任务的交互。RoAda的关键在于数据摘要的构建方法和迭代模型行为建模的具体实现。损失函数的设计需要考虑任务间的相关性和差异性，以平衡共享知识的学习和特定任务的优化。具体的参数设置和网络结构细节在论文中可能有所描述，但此处未知。
🖼️ 关键图片
📊 实验亮点
论文在三个城市的数据集上进行了实验，证明了CMuST框架的优越性。实验结果表明，CMuST在少量流数据和新领域任务上，相对于现有的SOAT方法取得了显著的性能提升。具体的性能数据和提升幅度在论文中有所描述，但此处未知。
🎯 应用场景
CMuST框架可应用于智慧城市建设的多个领域，例如交通流量预测、空气质量预测、犯罪率预测等。通过对城市多源时空数据的协同学习，可以提升城市管理的智能化水平，为城市规划和决策提供更准确的依据，最终提升城市居民的生活质量。
📄 摘要（原文）
Spatiotemporal learning has become a pivotal technique to enable urban intelligence. Traditional spatiotemporal models mostly focus on a specific task by assuming a same distribution between training and testing sets. However, given that urban systems are usually dynamic, multi-sourced with imbalanced data distributions, current specific task-specific models fail to generalize to new urban conditions and adapt to new domains without explicitly modeling interdependencies across various dimensions and types of urban data. To this end, we argue that there is an essential to propose a Continuous Multi-task Spatio-Temporal learning framework (CMuST) to empower collective urban intelligence, which reforms the urban spatiotemporal learning from single-domain to cooperatively multi-dimensional and multi-task learning. Specifically, CMuST proposes a new multi-dimensional spatiotemporal interaction network (MSTI) to allow cross-interactions between context and main observations as well as self-interactions within spatial and temporal aspects to be exposed, which is also the core for capturing task-level commonality and personalization. To ensure continuous task learning, a novel Rolling Adaptation training scheme (RoAda) is devised, which not only preserves task uniqueness by constructing data summarization-driven task prompts, but also harnesses correlated patterns among tasks by iterative model behavior modeling. We further establish a benchmark of three cities for multi-task spatiotemporal learning, and empirically demonstrate the superiority of CMuST via extensive evaluations on these datasets. The impressive improvements on both few-shot streaming data and new domain tasks against existing SOAT methods are achieved. Code is available at https://github.com/DILab-USTCSZ/CMuST.