Aurora-X: Built for Extreme Time Series Forecasting
作者: Xingjian Wu, Chenjuan Guo, Xiangfei Qiu, Zhigang Hu, Hanyin Cheng, Peng Chen, Yang Shu, Jilin Hu, Bin Yang
分类: cs.LG
发布日期: 2026-09-25
💡 一句话要点
提出Aurora-X以解决时间序列预测的通用性与灵活性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 基础模型 混合专家 概率预测 深度学习
📋 核心要点
- 现有时间序列预测模型的通用性和灵活性不足，限制了其在不同领域的应用。
- Aurora-X通过渐进式课程学习和统一架构，提升了模型的训练潜力和架构灵活性。
- 在多个基准测试上，Aurora-X展现出优于预训练TSFMs和特定任务监督模型的预测性能。
📝 摘要（中文）
时间序列基础模型（TSFMs）在跨领域预测中具有潜力，但其作为通用预测器的发展受到训练潜力未充分挖掘和架构灵活性不足的限制。为了解决这些挑战，本文提出了Aurora-X，一个具有十亿规模的TSFM，采用渐进式课程和统一架构。通过通道独立的预训练学习时间模式，随后在中期训练中引入跨变量依赖、不同上下文和预测时间长度，以及可用的未来协变量。可变分辨率的后训练进一步支持在推理时每个token的可调时间跨度。Aurora-X的多样化架构支持跨变量建模、协变量条件化和未来补丁的并行解码，增强了概率预测的灵活性。综合实验表明，Aurora-X在多个基准测试上展现了领先的预测性能。
🔬 方法详解
问题定义：本文旨在解决时间序列基础模型在跨领域预测中的通用性和灵活性不足的问题。现有方法在训练潜力和架构灵活性方面存在显著局限，影响了其在不同应用场景中的表现。
核心思路：Aurora-X的核心思路是通过渐进式课程学习和统一架构，逐步引入复杂性以提升模型的学习能力。首先进行通道独立的预训练以学习时间模式，然后在中期训练中引入跨变量依赖和未来协变量。
技术框架：Aurora-X的整体架构包括多个阶段：初始的通道独立预训练阶段、引入跨变量依赖的中期训练阶段，以及可变分辨率的后训练阶段。每个阶段都旨在逐步提升模型的能力和灵活性。
关键创新：Aurora-X的主要创新在于引入了一种新型的模式引导混合专家机制，通过稀疏激活扩展模型容量，并利用浅层补丁相似性约束深层路由，从而实现专家在异构时间序列中的专业化。
关键设计：在模型设计中，Aurora-X采用了固定模型权重的策略，支持在推理时根据token预算调整历史长度。此外，隐式分位网络头的引入使得模型能够预测任意分位数，增强了概率预测的灵活性。
🖼️ 关键图片
📊 实验亮点
在GIFT-Eval、TIME、FEV-Bench、TFB和DAG-Bench等多个基准测试中，Aurora-X展现出领先的预测性能，超越了预训练的TSFMs和任务特定的监督模型，证明了其在时间序列预测中的有效性和优势。
🎯 应用场景
Aurora-X在时间序列预测领域具有广泛的应用潜力，特别是在金融市场、气候变化、供应链管理等需要高精度预测的场景。其灵活的架构和强大的预测能力使其能够适应不同领域的需求，推动智能决策的实现。
📄 摘要（原文）
Time series foundation models (TSFMs) enable cross-domain forecasting, but their development as general-purpose forecasters remains constrained by underexplored training potential and limited architectural versatility. To address these challenges, we introduce Aurora-X, a billion-scale TSFM with a progressive curriculum and a unified architecture. We first use channel-independent pretraining to learn temporal patterns, then introduce cross-variable dependencies, varied context and horizon lengths, and future covariates if available during midtraining. Variable-resolution post-training further enables an adjustable temporal span per token at inference. With fixed model weights, this supports longer histories under a fixed token budget or fewer tokens for the same history, enabling test-time scaling. With a versatile architecture, Aurora-X supports cross-variable modeling, covariate conditioning, and parallel decoding of future patches for probabilistic forecasting. These are supported by a novel pattern-guided mixture-of-experts that expands model capacity through sparse activation and uses shallow patch similarities to constrain deep-layer routing, guiding expert specialization across heterogeneous time series. Furthermore, we propose an implicit quantile network head that predicts arbitrary quantiles to characterize predictive distributions, enhancing probabilistic forecasting flexibility. Comprehensive experiments on GIFT-Eval, TIME, FEV-Bench, TFB, and DAG-Bench demonstrate state-of-the-art forecasting performance against pretrained TSFMs and task-specific supervised models.