Kairos: Towards Adaptive and Generalizable Time Series Foundation Models
作者: Kun Feng, Shaocheng Lan, Yuchen Fang, Wenchao He, Lintao Ma, Xingyu Lu, Kan Ren
分类: cs.LG
发布日期: 2025-09-30
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Kairos：面向自适应和泛化时间序列的动态基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列分析 基础模型 自适应学习 零样本学习 动态Token化
📋 核心要点
- 现有时间序列基础模型难以适应时间序列数据异构的信息密度，尤其是在零样本学习场景下。
- Kairos通过动态patching tokenizer和实例自适应positional embedding，自适应地选择token化粒度和定制位置编码。
- Kairos在PreSTS语料库上训练，并在GIFT-Eval和时间序列库基准测试中，以更少的参数优于现有方法。
📝 摘要（中文）
时间序列基础模型（TSFMs）已成为时间序列分析的强大范例，这得益于在多样化数据语料库上的大规模预训练。然而，时间序列本质上在时间上表现出异构的信息密度，受到系统状态和信号复杂性的影响，这带来了巨大的建模挑战，尤其是在零样本场景中。当前的TSFMs依赖于非自适应的处理流程，无法捕捉这种动态特性。例如，常见的token化策略（如固定大小的patching）强制执行严格的观测粒度，限制了它们适应不同信息密度的能力。类似地，传统的positional encoding施加了统一的时间尺度，使得难以对序列中不同的周期性和趋势进行建模。为了克服这些限制，我们提出了Kairos，一个灵活的TSFM框架，它集成了动态patching tokenizer和实例自适应positional embedding。Kairos自适应地选择token化粒度，并根据每个时间序列实例的独特特征定制positional encoding。Kairos在包含超过3000亿个时间点的可预测性分层时间序列（PreSTS）语料库上进行训练，并在推理阶段采用多patch预测策略，在两个常见的零样本基准GIFT-Eval和时间序列库基准上，以更少的参数实现了卓越的性能，在各种任务中始终优于已建立的方法。
🔬 方法详解
问题定义：论文旨在解决现有时间序列基础模型（TSFMs）在处理具有异构信息密度的时间序列数据时存在的局限性。现有的TSFMs通常采用固定的token化策略和位置编码，无法适应不同时间序列实例的动态特性，导致在零样本学习场景下性能下降。
核心思路：论文的核心思路是设计一个自适应的时间序列基础模型，使其能够根据输入时间序列的特性动态地调整token化粒度和位置编码。通过这种方式，模型可以更好地捕捉时间序列中的关键信息，提高泛化能力。
技术框架：Kairos框架主要包含两个核心模块：动态Patching Tokenizer和实例自适应Positional Embedding。首先，动态Patching Tokenizer根据时间序列的信息密度自适应地选择token化粒度。然后，实例自适应Positional Embedding根据每个时间序列实例的特征定制位置编码。最后，模型在预训练好的Transformer架构上进行微调或直接进行零样本预测。在推理阶段，采用多patch预测策略以提高预测精度。
关键创新：Kairos的关键创新在于其自适应性。传统的TSFMs采用固定的token化和位置编码策略，而Kairos能够根据输入时间序列的特性动态地调整这些策略。这种自适应性使得模型能够更好地捕捉时间序列中的关键信息，提高泛化能力。
关键设计：动态Patching Tokenizer的设计允许模型根据时间序列的局部变化率调整patch的大小。信息密度高的区域使用较小的patch，而信息密度低的区域使用较大的patch。实例自适应Positional Embedding通过学习一个与时间序列实例相关的权重向量，来调整位置编码的强度。预训练阶段采用多任务学习，包括时间序列预测、重构和对比学习等任务。损失函数结合了预测损失、重构损失和对比损失。
🖼️ 关键图片
📊 实验亮点
Kairos在GIFT-Eval和Time-Series-Library两个零样本基准测试中取得了显著的性能提升。例如，在GIFT-Eval基准测试中，Kairos在多个任务上超越了现有的最先进方法，并且使用的参数量更少。具体而言，Kairos在某些任务上的性能提升超过10%，证明了其自适应性和泛化能力的有效性。
🎯 应用场景
Kairos具有广泛的应用前景，包括但不限于：金融时间序列预测、医疗健康监测、工业设备故障诊断、气候变化分析等。通过自适应地捕捉时间序列的动态特性，Kairos可以提高预测精度和泛化能力，为各行各业提供更可靠的时间序列分析服务。未来，Kairos有望成为时间序列分析领域的重要基础设施。
📄 摘要（原文）
Time series foundation models (TSFMs) have emerged as a powerful paradigm for time series analysis, driven by large-scale pretraining on diverse data corpora. However, time series inherently exhibit heterogeneous information density over time, influenced by system states and signal complexity, presenting significant modeling challenges especially in a zero-shot scenario. Current TSFMs rely on non-adaptive processing pipelines that fail to capture this dynamic nature. For example, common tokenization strategies such as fixed-size patching enforce rigid observational granularity, limiting their ability to adapt to varying information densities. Similarly, conventional positional encodings impose a uniform temporal scale, making it difficult to model diverse periodicities and trends across series. To overcome these limitations, we propose Kairos, a flexible TSFM framework that integrates a dynamic patching tokenizer and an instance-adaptive positional embedding. Kairos adaptively selects tokenization granularity and tailors positional encodings to the unique characteristics of each time series instance. Trained on a large-scale Predictability-Stratified Time Series (PreSTS) corpus comprising over 300 billion time points and adopting a multi-patch prediction strategy in the inference stage, Kairos achieves superior performance with much fewer parameters on two common zero-shot benchmarks, GIFT-Eval and the Time-Series-Library benchmark, consistently outperforming established methods across diverse tasks. The project page is at https://foundation-model-research.github.io/Kairos .