Evaluating Temporal Plasticity in Foundation Time Series Models for Incremental Fine-tuning

📄 arXiv: 2504.14677v1 📥 PDF

作者: Jia Liu, Cheng Jinguo, Xia Fang, Zhenyuan Ma, Yuankai Wu

分类: cs.LG, cs.AI

发布日期: 2025-04-20

备注: Accepted at IJCNN 2025

💡 一句话要点

评估时间序列基础模型的时间可塑性，用于增量微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 基础模型 增量学习 持续学习 时间可塑性 微调 分布偏移

📋 核心要点

  1. 现有时间序列模型在增量学习中面临性能退化问题，无法有效适应数据分布变化。
  2. 论文提出评估时间序列基础模型的时间可塑性，通过持续学习提升模型性能并保持原有能力。
  3. 实验表明，Time-MoE和Chronos等基础模型在增量微调中表现出预测精度的持续提高。

📝 摘要（中文）

时间序列基础模型在各种时间序列预测任务中表现出色，但它们通过增量学习持续改进的能力仍未被探索。本文首次全面研究了这些模型的时间可塑性——即通过持续学习逐步提高性能并保持现有能力。通过在表现出分布偏移的真实世界数据集上进行的实验，我们使用一种新颖的持续学习框架评估了传统深度学习模型和基础模型。研究结果表明，虽然传统模型在增量微调期间会遇到性能下降的问题，但像Time-MoE和Chronos这样的基础模型表现出预测精度的持续提高。这表明优化基础模型微调策略可能比开发特定领域的小模型更有价值。我们的研究为开发具有强大持续学习能力的基础时间序列模型引入了新的评估方法和见解。

🔬 方法详解

问题定义：论文旨在解决时间序列基础模型在增量学习场景下的性能维持和提升问题。现有方法，特别是传统的深度学习模型，在面对数据分布偏移时，往往会在增量微调过程中出现性能显著下降，即“灾难性遗忘”现象。这限制了模型在实际应用中持续学习和适应新数据的能力。

核心思路：论文的核心思路是评估时间序列基础模型的时间可塑性，即模型在持续学习过程中逐步提高性能并保持原有能力。通过设计一个持续学习框架，模拟真实世界中数据逐渐到达的场景，并观察不同模型在增量微调过程中的表现。重点关注基础模型是否能够克服灾难性遗忘，并持续提升预测精度。

技术框架：论文构建了一个持续学习的评估框架，该框架包含以下主要步骤：1）选择具有代表性的时间序列数据集，并模拟数据分布偏移；2）选择多种时间序列模型，包括传统深度学习模型和时间序列基础模型；3）采用增量微调策略，逐步将新数据输入模型进行训练；4）定期评估模型在不同阶段的预测性能，并分析其变化趋势。

关键创新：论文的关键创新在于：1）首次系统性地研究了时间序列基础模型在增量学习场景下的表现；2）提出了一个用于评估时间序列模型时间可塑性的新颖框架；3）通过实验验证了时间序列基础模型在增量微调中优于传统模型的性能。

关键设计：论文的关键设计包括：1）选择具有代表性的时间序列基础模型，如Time-MoE和Chronos；2）设计合理的增量微调策略，例如控制学习率和训练轮数；3）采用合适的评估指标，如预测精度和模型复杂度，来全面评估模型的时间可塑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Time-MoE和Chronos等时间序列基础模型在增量微调过程中表现出优于传统深度学习模型的性能。具体来说，这些基础模型在面对数据分布偏移时，能够保持甚至提高预测精度，而传统模型则会出现明显的性能下降。这表明基础模型具有更强的时间可塑性，更适合于持续学习场景。

🎯 应用场景

该研究成果可应用于需要持续学习和适应新数据的各种时间序列预测场景，例如金融市场预测、能源需求预测、供应链管理和智能交通系统。通过优化基础模型的微调策略，可以构建更具鲁棒性和适应性的时间序列预测模型，从而提高预测精度和决策效率。

📄 摘要（原文）

Time series foundation models excel at diverse time series forecasting tasks, but their capacity for continuous improvement through incremental learning remains unexplored. We present the first comprehensive study investigating these models' temporal plasticity - their ability to progressively enhance performance through continual learning while maintaining existing capabilities. Through experiments on real-world datasets exhibiting distribution shifts, we evaluate both conventional deep learning models and foundation models using a novel continual learning framework. Our findings reveal that while traditional models struggle with performance deterioration during incremental fine-tuning, foundation models like Time-MoE and Chronos demonstrate sustained improvement in predictive accuracy. This suggests that optimizing foundation model fine-tuning strategies may be more valuable than developing domain-specific small models. Our research introduces new evaluation methodologies and insights for developing foundation time series models with robust continuous learning capabilities.