TSGym: Design Choices for Deep Multivariate Time-Series Forecasting

📄 arXiv: 2509.17063v1 📥 PDF

作者: Shuang Liang, Chaochuan Hou, Xu Yao, Shiping Wang, Minqi Jiang, Songqiao Han, Hailiang Huang

分类: cs.LG

发布日期: 2025-09-21

🔗 代码/项目: GITHUB

💡 一句话要点

TSGym：通过细粒度组件选择与自动模型构建，提升多元时间序列预测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多元时间序列预测 深度学习 自动化模型构建 组件选择 时间序列分析

📋 核心要点

  1. 现有MTSF研究侧重整体模型评估，忽略了各组件的独立作用和潜在问题。
  2. TSGym通过细粒度组件选择和自动模型构建，为不同时间序列数据定制更优方案。
  3. 实验表明，TSGym在MTSF任务上显著优于现有SOTA方法和AutoML方案。

📝 摘要（中文）

近年来，深度学习显著推动了多元时间序列预测（MTSF）任务的发展。然而，当前MTSF研究倾向于从整体角度评估模型，掩盖了各个组件的独立贡献，并遗留了关键问题未解决。本文遵循现有的建模范式，通过将深度MTSF方法系统地分解为细粒度的核心组件，如序列分块标记化、通道独立策略、注意力模块，甚至是大型语言模型和时间序列基础模型，来弥合这些差距。通过大量的实验和组件级别的分析，本文提供了比以往通常将模型作为一个整体讨论的基准更深刻的见解。此外，我们提出了一种名为TSGym的用于MTSF任务的新型自动化解决方案。与传统的超参数调整、神经架构搜索或固定模型选择不同，TSGym执行细粒度的组件选择和自动模型构建，从而能够创建更有效的解决方案，以适应不同的时间序列数据，从而增强模型在不同数据源之间的可迁移性和针对分布偏移的鲁棒性。大量实验表明，TSGym显著优于现有的最先进的MTSF和AutoML方法。所有代码已在https://github.com/SUFE-AILAB/TSGym上公开。

🔬 方法详解

问题定义：多元时间序列预测（MTSF）旨在根据多个相关时间序列的历史数据预测未来的值。现有方法通常将深度学习模型视为黑盒，缺乏对模型内部组件贡献的细致分析，导致模型改进方向不明，且难以适应不同类型的时间序列数据。此外，手动设计和调整模型组件耗时耗力，缺乏自动化和可迁移性。

核心思路：TSGym的核心思路是将MTSF模型解耦为细粒度的组件，例如序列分块方式、通道处理策略、注意力机制等。通过对这些组件进行选择和组合，自动构建针对特定数据集优化的模型。这种方法能够更清晰地理解各个组件的作用，并实现模型定制化和自动化。

技术框架：TSGym包含以下主要模块：1) 组件库：包含各种时间序列处理组件，如序列分块、通道独立处理、注意力机制、以及大型语言模型和时间序列基础模型等。2) 搜索空间：定义了组件的选择范围和组合方式，形成一个庞大的模型搜索空间。3) 搜索算法：采用自动化搜索算法（具体算法未知）在搜索空间中寻找最优的模型结构。4) 评估模块：使用预定义的指标评估模型的性能，并指导搜索过程。5) 模型构建模块：根据搜索结果，自动构建最终的MTSF模型。

关键创新：TSGym的关键创新在于其细粒度的组件选择和自动模型构建方法。与传统的超参数调整或神经架构搜索相比，TSGym能够更灵活地定制模型结构，并更好地适应不同类型的时间序列数据。此外，TSGym还能够利用大型语言模型和时间序列基础模型等先进技术，进一步提升预测性能。

关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等技术细节。但可以推测，TSGym需要设计合理的搜索空间，包括组件的选择范围、组合方式、以及组件内部的参数配置。此外，搜索算法的选择和评估指标的设计也至关重要，它们直接影响搜索效率和模型性能。损失函数可能采用常用的均方误差（MSE）或平均绝对误差（MAE），具体选择取决于数据集的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TSGym显著优于现有的最先进的MTSF方法和AutoML方法。具体的性能提升幅度未知，但论文强调TSGym在不同数据集上都表现出良好的泛化能力和鲁棒性。TSGym通过细粒度的组件选择和自动模型构建，能够更好地适应不同类型的时间序列数据，从而实现更高的预测精度。

🎯 应用场景

TSGym可应用于金融、交通、能源、医疗等多个领域的时间序列预测任务。例如，在金融领域，可以用于股票价格预测、风险管理等；在交通领域，可以用于交通流量预测、智能交通控制等；在能源领域，可以用于电力负荷预测、可再生能源发电预测等。TSGym的自动化模型构建能力可以降低模型开发成本，提高预测精度，为各行业带来实际价值。

📄 摘要（原文）

Recently, deep learning has driven significant advancements in multivariate time series forecasting (MTSF) tasks. However, much of the current research in MTSF tends to evaluate models from a holistic perspective, which obscures the individual contributions and leaves critical issues unaddressed. Adhering to the current modeling paradigms, this work bridges these gaps by systematically decomposing deep MTSF methods into their core, fine-grained components like series-patching tokenization, channel-independent strategy, attention modules, or even Large Language Models and Time-series Foundation Models. Through extensive experiments and component-level analysis, our work offers more profound insights than previous benchmarks that typically discuss models as a whole. Furthermore, we propose a novel automated solution called TSGym for MTSF tasks. Unlike traditional hyperparameter tuning, neural architecture searching or fixed model selection, TSGym performs fine-grained component selection and automated model construction, which enables the creation of more effective solutions tailored to diverse time series data, therefore enhancing model transferability across different data sources and robustness against distribution shifts. Extensive experiments indicate that TSGym significantly outperforms existing state-of-the-art MTSF and AutoML methods. All code is publicly available on https://github.com/SUFE-AILAB/TSGym.