Bi-level Heterogeneous Learning for Time Series Foundation Models: A Federated Learning Approach
作者: Shengchao Chen, Guodong Long, Dikai Liu, Jing Jiang
分类: cs.LG
发布日期: 2026-04-08
备注: 31 pages
💡 一句话要点
提出双层异构联邦学习方法，用于训练时间序列基础模型，提升异构环境下的泛化能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列基础模型 联邦学习 异构学习 域自适应 时间序列预测
📋 核心要点
- 现有时间序列基础模型训练方法在处理异构数据时，易产生梯度冲突，降低模型表示质量。
- 论文提出一种双层异构联邦学习方法，通过域不变表示和域感知聚合，减少域内冲突和域间差异。
- 实验结果表明，该方法训练的TSFM在点预测、概率预测和零样本学习方面均优于现有基线。
📝 摘要（中文）
时间序列数据的异构性比视觉或语言数据更为显著，因为时间动态在不同领域和任务之间差异很大。现有从头训练时间序列基础模型(TSFM)的方法通常采用混合批次策略合并大规模数据集，这可能导致梯度冲突并降低表示质量。为了解决这个问题，我们提出了一种细粒度的学习方法，该方法从异构序列中提取不变知识，同时减少跨域干扰。我们将异构性分为两个层次：域间和域内。为了解决这种双层异构性，我们设计了一种联邦学习方法，通过局部正则化强制执行域不变和语义一致的表示来减轻域内冲突，并通过域感知聚合增强跨域协作来解决域间差异。在各种基准测试上的实验表明，使用我们的方法训练的TSFM在点预测和概率预测方面始终优于集中式和联邦TSFM基线，同时还在大规模上实现了具有竞争力的零样本性能，为在异构环境中从头训练TSFM提供了一种灵活的途径。
🔬 方法详解
问题定义：现有时间序列基础模型（TSFM）的训练方法，如混合批次训练，在处理来自不同领域和任务的异构时间序列数据时，容易出现梯度冲突，导致模型学习到的表示质量下降。这种异构性体现在两个层面：一是不同领域之间（域间异构性），二是同一领域内部（域内异构性）。
核心思路：论文的核心思路是设计一种细粒度的联邦学习方法，以应对时间序列数据中的双层异构性。该方法旨在从异构序列中提取领域不变的知识，同时减少跨领域之间的干扰。通过联邦学习框架，每个客户端（代表一个领域）在本地学习，然后通过聚合机制共享知识，从而实现全局模型的优化。
技术框架：该方法基于联邦学习框架，包含以下主要模块：1) 本地训练：每个客户端使用本地数据训练模型，目标是学习域不变的表示，并保持语义一致性。2) 局部正则化：通过正则化项约束本地模型的学习，减少域内冲突。3) 域感知聚合：服务器端根据客户端的领域特征，采用不同的聚合策略，增强跨域协作，解决域间差异。
关键创新：该方法最重要的创新点在于其双层异构学习策略。它不仅考虑了不同领域之间的差异（域间异构性），还考虑了同一领域内部的差异（域内异构性），并分别设计了相应的解决方案。通过局部正则化和域感知聚合，该方法能够更有效地从异构数据中学习到泛化能力强的TSFM。
关键设计：在本地训练阶段，使用了正则化损失函数，以鼓励模型学习域不变的表示。在域感知聚合阶段，服务器端根据客户端的领域特征，为不同的客户端分配不同的权重。具体的权重计算方法未知，论文可能在补充材料中给出。网络结构方面，论文没有明确说明，但可以推测使用了常见的时间序列模型结构，如Transformer或LSTM。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个时间序列预测基准测试中均取得了显著的性能提升。在点预测和概率预测任务中，该方法训练的TSFM始终优于集中式和联邦TSFM基线。此外，该方法还在大规模数据集上实现了具有竞争力的零样本性能，表明其具有良好的泛化能力。具体的性能提升幅度未知，论文可能在正文中给出详细数据。
🎯 应用场景
该研究成果可广泛应用于需要处理异构时间序列数据的领域，例如：医疗健康（不同医院的患者数据）、金融（不同市场的交易数据）、工业制造（不同设备的运行数据）等。通过该方法，可以训练出更具泛化能力的TSFM，从而提高预测精度和鲁棒性，为相关领域的决策提供更可靠的依据。未来，该方法有望推动时间序列分析在更广泛领域的应用。
📄 摘要（原文）
Heterogeneity in time series data is more pronounced than in vision or language, as temporal dynamics vary substantially across domains and tasks. Existing efforts on training time series foundation models (TSFMs) from scratch are often trained with mixed-batch strategies that merge large-scale datasets, which can cause gradient conflicts and degrade representation quality. To address this, we propose a fine-grained learning method that distills invariant knowledge from heterogeneous series while reducing cross-domain interference. We characterize heterogeneity at two levels: inter-domain and intra-domain. To tackle this bi-level heterogeneity, we design a federated learning method that mitigates intra-domain conflicts by enforcing domain-invariant and semantically consistent representations through local regularization, and addresses inter-domain discrepancies by enhancing cross-domain collaboration via domain-aware aggregation. Experiments across diverse benchmarks show that TSFMs trained with our method consistently outperform both centralized and federated TSFM baselines in point and probabilistic forecasting, while also achieving competitive zero-shot performance at scale, offering a flexible pathway for training TSFMs from scratch in heterogeneous environments.