Discrete Prototypical Memories for Federated Time Series Foundation Models

📄 arXiv: 2604.04475 📥 PDF

作者: Liwei Deng, Qingxiang Liu, Xinhe Niu, Shengchao Chen, Sheng Sun, Yuankai Wu, Guodong Long, Yuxuan Liang

分类: cs.LG, cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出FeDPM：基于离散原型记忆的联邦时间序列基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 时间序列 基础模型 原型记忆 离散表示

📋 核心要点

  1. 现有基于联邦学习的时间序列基础模型存在语义不对齐问题，影响性能。
  2. FeDPM通过学习局部原型记忆先验并对齐跨域记忆，构建统一的离散潜在空间。
  3. 实验结果表明，FeDPM在效率和有效性方面均表现出色，优于现有方法。

📝 摘要（中文）

本文提出了一种名为FeDPM的联邦学习框架，用于时间序列基础模型，旨在解决现有方法中时间序列数据与LLM文本中心潜在空间之间的语义不对齐问题，以及现有联邦学习方法将异构跨域时间序列数据建模到统一连续潜在空间的问题。FeDPM学习域内时间序列数据的局部原型记忆先验，然后对齐跨域记忆以促进统一的离散潜在空间，并引入特定于域的记忆更新机制来平衡共享和个性化的原型知识。大量实验证明了FeDPM的效率和有效性。

🔬 方法详解

问题定义：现有基于联邦学习的时间序列基础模型，利用大型语言模型（LLMs）的泛化能力，但在时间序列数据和LLMs的文本中心潜在空间之间存在语义不对齐的问题，导致性能下降。此外，现有联邦学习方法中的参数共享机制将异构跨域时间序列数据建模到统一的连续潜在空间，这与时间序列语义经常表现为离散和重复状态的事实相矛盾。

核心思路：FeDPM的核心思路是利用离散原型记忆来表示时间序列数据，从而更好地捕捉时间序列的离散语义特征。通过学习局部原型记忆先验，并对齐跨域记忆，FeDPM构建了一个统一的离散潜在空间，能够更好地处理异构跨域时间序列数据。同时，引入域特定的记忆更新机制，平衡了共享知识和个性化知识。

技术框架：FeDPM框架主要包含以下几个模块：1) 局部原型记忆学习：在每个客户端上，学习特定于该域的时间序列数据的原型记忆先验。2) 跨域记忆对齐：通过某种对齐机制，将不同客户端上的原型记忆对齐到一个统一的离散潜在空间。3) 域特定记忆更新：根据每个客户端的本地数据，更新其原型记忆，以平衡共享知识和个性化知识。4) 基于原型记忆的时间序列预测：利用学习到的原型记忆，进行时间序列预测。

关键创新：FeDPM的关键创新在于：1) 引入了离散原型记忆来表示时间序列数据，更好地捕捉了时间序列的离散语义特征。2) 提出了跨域记忆对齐机制，构建了一个统一的离散潜在空间，能够更好地处理异构跨域时间序列数据。3) 设计了域特定的记忆更新机制，平衡了共享知识和个性化知识。

关键设计：具体的技术细节包括：1) 原型记忆的学习方法：可以使用聚类算法（如K-means）或自编码器等方法来学习原型记忆。2) 跨域记忆对齐机制：可以使用对比学习或对抗学习等方法来实现跨域记忆的对齐。3) 域特定记忆更新机制：可以使用梯度下降或动量等优化算法来更新原型记忆。4) 损失函数的设计：需要设计合适的损失函数来指导原型记忆的学习和对齐，例如，可以使用对比损失或交叉熵损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了FeDPM的有效性。具体性能数据和对比基线未知，但摘要中提到FeDPM在效率和有效性方面均表现出色。实验结果表明，FeDPM能够有效地解决时间序列数据与LLM文本中心潜在空间之间的语义不对齐问题，并能够更好地处理异构跨域时间序列数据。

🎯 应用场景

FeDPM可应用于各种需要联邦学习的时间序列分析场景，例如：医疗健康领域，不同医院之间共享患者的生理信号数据，用于疾病预测；金融领域，不同银行之间共享交易数据，用于风险评估；物联网领域，不同设备之间共享传感器数据，用于设备维护。该研究有助于在保护数据隐私的前提下，提升时间序列分析的准确性和泛化能力。

📄 摘要（原文）

Leveraging Large Language Models (LLMs) as federated learning (FL)-based time series foundation models offers a promising way to transfer the generalization capabilities of LLMs to time series data while preserving access to private data. However, the semantic misalignment between time-series data and the text-centric latent space of existing LLMs often leads to degraded performance. Meanwhile, the parameter-sharing mechanism in existing FL methods model heterogeneous cross-domain time-series data into a unified continuous latent space, which contradicts the fact that time-series semantics frequently manifest as discrete and recurring regimes. To address these limitations, we propose \textsc{FeDPM}, a federated framework for time-series foundation models based on discrete prototypical memories. Specifically, we learn local prototypical memory priors for intra-domain time-series data. We then align cross-domain memories to promote a unified discrete latent space and introduce a domain-specific memory update mechanism to balance shared and personalized prototypical knowledge. Extensive experiments demonstrate the efficiency and effectiveness of \textsc{FeDPM}. The code is publicly available atthis https URL.