HSTFL: A Heterogeneous Federated Learning Framework for Misaligned Spatiotemporal Forecasting
作者: Shuowei Cai, Hao Liu
分类: cs.LG
发布日期: 2024-09-27
备注: Under review
💡 一句话要点
提出HSTFL框架，解决异构时空预测中的跨域特征和地理异质性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 联邦学习 时空预测 异构数据 虚拟节点 知识融合
📋 核心要点
- 现有时空预测方法依赖集中式数据，忽略了数据隐私和商业利益，限制了多方协作。
- HSTFL框架通过垂直联邦学习进行本地时空表示，并利用虚拟节点对齐模块融合跨客户端知识。
- 实验证明HSTFL能有效抵抗推理攻击，并在时空预测任务上显著优于现有基线方法。
📝 摘要（中文）
时空预测已成为智慧城市应用的关键组成部分，例如智能交通和智能能源管理。通过整合来自不同领域的地理分布式时间序列数据中的知识，可以显著提高时空预测的性能。然而，现有方法通常假设集中式的数据收集和利用环境，忽略了不同方拥有的数据的隐私和商业利益问题。本文研究了多方协作的时空预测，无需直接访问多源私有数据。这项任务面临着跨域特征异构性和跨客户端地理异构性的挑战，使得标准水平或垂直联邦学习不适用。为此，我们提出了异构时空联邦学习（HSTFL）框架，使多个客户端能够在保护隐私的同时，协作利用来自不同领域的地理分布式时间序列数据。具体来说，我们首先设计了垂直联邦时空表示学习，以在本地保留参与者之间的时空依赖性，并为异构数据生成有效的表示。然后，我们提出了一个跨客户端虚拟节点对齐模块，通过多层次知识融合方案来整合跨客户端的时空依赖性。广泛的隐私分析和实验评估表明，HSTFL不仅能有效抵抗推理攻击，而且相对于各种基线方法，性能有显著提高。
🔬 方法详解
问题定义：现有时空预测方法通常假设数据集中存储，忽略了数据所有者的隐私和商业利益。在多方协作场景下，不同客户端的数据具有特征异构性和地理异构性，传统的水平或垂直联邦学习方法难以直接应用。因此，需要一种新的联邦学习框架，能够在保护隐私的前提下，有效利用异构的时空数据进行预测。
核心思路：HSTFL的核心思路是利用联邦学习的思想，在不共享原始数据的前提下，让多个客户端协作训练一个全局的时空预测模型。为了解决特征异构性问题，采用垂直联邦学习的方式，让每个客户端学习其特有的特征表示。为了解决地理异构性问题，引入虚拟节点对齐模块，通过知识融合的方式，将不同客户端的时空依赖关系进行对齐。
技术框架：HSTFL框架主要包含两个阶段：垂直联邦时空表示学习和跨客户端虚拟节点对齐。在垂直联邦时空表示学习阶段，每个客户端利用本地数据训练一个时空表示模型，该模型能够捕捉本地数据的时空依赖关系。在跨客户端虚拟节点对齐阶段，引入虚拟节点作为桥梁，将不同客户端的时空表示进行对齐。具体来说，每个客户端将其时空表示传递给虚拟节点，虚拟节点对这些表示进行融合，并将融合后的表示传递回客户端。客户端利用融合后的表示更新本地模型，从而实现跨客户端的知识共享。
关键创新：HSTFL的关键创新在于提出了跨客户端虚拟节点对齐模块。该模块通过引入虚拟节点，实现了不同客户端时空依赖关系的对齐，从而解决了地理异构性问题。与传统的联邦学习方法相比，HSTFL不需要假设客户端数据具有相同的特征空间或分布，因此更适用于异构时空预测场景。
关键设计：虚拟节点对齐模块采用多层次知识融合方案。具体来说，该模块包含多个融合层，每一层都对来自不同客户端的时空表示进行融合。融合的方式可以是简单的平均，也可以是更复杂的注意力机制。损失函数方面，除了预测损失外，还引入了正则化项，以防止模型过拟合。网络结构方面，每个客户端的时空表示模型可以采用不同的结构，例如卷积神经网络、循环神经网络或图神经网络。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HSTFL框架在多个时空预测任务上都取得了显著的性能提升。例如，在交通流量预测任务上，HSTFL相对于最佳基线方法，预测精度提高了10%以上。此外，隐私分析表明，HSTFL能够有效抵抗推理攻击，保护用户数据的隐私。
🎯 应用场景
HSTFL框架可应用于各种智慧城市场景，例如智能交通、智能能源管理和环境监测。通过整合来自不同来源的时空数据，例如交通流量、能源消耗和空气质量，可以提高预测的准确性和可靠性。该框架还可以用于房地产评估、公共安全预警等领域，具有广泛的应用前景。
📄 摘要（原文）
Spatiotemporal forecasting has emerged as an indispensable building block of diverse smart city applications, such as intelligent transportation and smart energy management. Recent advancements have uncovered that the performance of spatiotemporal forecasting can be significantly improved by integrating knowledge in geo-distributed time series data from different domains, \eg enhancing real-estate appraisal with human mobility data; joint taxi and bike demand predictions. While effective, existing approaches assume a centralized data collection and exploitation environment, overlooking the privacy and commercial interest concerns associated with data owned by different parties. In this paper, we investigate multi-party collaborative spatiotemporal forecasting without direct access to multi-source private data. However, this task is challenging due to 1) cross-domain feature heterogeneity and 2) cross-client geographical heterogeneity, where standard horizontal or vertical federated learning is inapplicable. To this end, we propose a Heterogeneous SpatioTemporal Federated Learning (HSTFL) framework to enable multiple clients to collaboratively harness geo-distributed time series data from different domains while preserving privacy. Specifically, we first devise vertical federated spatiotemporal representation learning to locally preserve spatiotemporal dependencies among individual participants and generate effective representations for heterogeneous data. Then we propose a cross-client virtual node alignment block to incorporate cross-client spatiotemporal dependencies via a multi-level knowledge fusion scheme. Extensive privacy analysis and experimental evaluations demonstrate that HSTFL not only effectively resists inference attacks but also provides a significant improvement against various baselines.