Rethinking Multimodal Time-Series Forecasting Evaluation

📄 arXiv: 2607.06973v1 📥 PDF

作者: Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das

分类: cs.LG

发布日期: 2026-07-08

期刊: Published in ICML 2026

💡 一句话要点

提出TimesX基准以解决多模态时间序列预测评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态预测 时间序列分析 基准评估 数据生成 文本上下文

📋 核心要点

  1. 现有多模态时间序列预测基准数据规模小且多为合成，导致模型泛化能力不足。
  2. 提出TimesX基准，通过自动化数据生成管道提供高质量真实数据，丰富文本上下文。
  3. 实验结果显示，简单的集成方法在TimesX上表现优于传统强基线，验证了新基准的有效性。

📝 摘要（中文）

本文介绍了一种新的上下文丰富的多模态时间序列预测基准TimesX。TimesX包含来自自动化数据生成管道的高质量真实世界时间序列，涵盖多种领域和文本上下文，旨在解决现有多模态预测基准的三大主要问题：1）由于基准数据规模小且合成，导致泛化能力差；2）基准中的文本上下文类型非常有限；3）评估中无法有效缓解数据泄漏。我们对TimesX上的零-shot多模态预测方法进行了全面的实证研究，结果表明，许多在现有基准上表现良好的方法在TimesX上可能会失败。相反，利用丰富文本上下文的简单集成方法在TimesX上超越了强基线。

🔬 方法详解

问题定义：本文旨在解决现有多模态时间序列预测基准在数据规模、文本上下文多样性和评估数据泄漏等方面的不足。现有方法往往依赖于小规模合成数据，导致泛化能力差。

核心思路：论文提出的TimesX基准通过引入丰富的文本上下文和真实数据，来增强模型的泛化能力和评估的有效性。该设计旨在提供更具挑战性的预测任务，以便更好地评估多模态预测方法的性能。

技术框架：TimesX基准的整体架构包括数据生成模块、文本上下文整合模块和多模态预测评估模块。数据生成模块负责从真实世界中提取时间序列数据，文本上下文整合模块则将相关文本信息与时间序列数据结合，最后通过评估模块进行模型性能评估。

关键创新：TimesX的最大创新在于其数据生成管道和丰富的上下文信息，这与现有方法依赖于小规模合成数据的方式有本质区别。通过引入真实世界数据，TimesX能够更真实地反映多模态预测的挑战。

关键设计：在模型训练中，采用了特定的损失函数来平衡时间序列数据和文本上下文的影响，同时设计了适应性强的网络结构，以便更好地处理多模态输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，许多在传统基准上表现优异的方法在TimesX上表现不佳，而简单的集成方法通过利用丰富的文本上下文，能够在TimesX上超越强基线，提升幅度显著，验证了新基准的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象预报、智能制造等多个需要时间序列分析的行业。通过提供更真实的评估基准，TimesX能够推动多模态预测技术的发展，提升实际应用中的预测准确性和可靠性。

📄 摘要（原文）

We introduce a new context-enriched, multimodal time series forecasting benchmark, TimesX. TimesX contains a wide selection of high-quality real-world time series with diverse domains and textual contexts obtained from an automated data generation pipeline, which helps address three main issues of existing multimodal forecasting benchmarks: (1) poor generalization due to the small scale and synthetic nature of benchmark data, (2) very limited types of textual contexts in the benchmarks, and (3) an inability to mitigate data leakage in evaluation. We conduct a thorough empirical study of zero-shot multimodal forecasting approaches on TimesX. Our results suggest that many approaches that perform well on existing benchmarks may fail on TimesX. In contrast, simple ensemble methods that leverage rich textual context accompanying time-series can outperform strong baselines on TimesX.