Beyond Numerical Time Series: A Unified Benchmark for Multimodal Forecasting with Heterogeneous Context

📄 arXiv: 2609.15087v1 📥 PDF

作者: Peng Chen, Zhihao Zhuang, Hongzhou Chen, Junhao Huang, Aiping Yang, Mengsen Wu, Yiding Liu, Xilin Dai, Zewei Dong

分类: cs.LG, cs.AI

发布日期: 2026-09-14

备注: preprint

💡 一句话要点

提出MUSE-Bench以解决多模态时间序列预测的评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态预测 时间序列分析 上下文信息 基准评估 机器学习

📋 核心要点

  1. 现有时间序列预测方法主要集中于数值数据，缺乏对多模态上下文信息的有效评估。
  2. 提出MUSE-Bench基准，整合多种上下文信息，涵盖多个领域的数据集，以促进多模态时间序列预测的研究。
  3. 实验结果表明，外部上下文显著提升了模型性能，而通用LLM作为直接预测器的表现较差。

📝 摘要（中文）

大多数时间序列预测基准仍以数值为中心，缺乏对影响现实世界时间动态的上下文信息的评估支持。现有的多模态基准在数据和上下文覆盖、评估设置的碎片化以及对聚合评估的过度依赖等方面存在不足。本文提出了MUSE-Bench，一个统一的多模态时间序列预测基准，涵盖了来自八个领域的十四个数据集和六种类型的上下文：元数据、事件、假期、新闻、图像和数值协变量。我们在共享的非重叠预测窗口、共同的目标观测和一致的点估计及概率指标下评估了多种预测范式。实验结果显示，数值时间序列基础模型在整体排名中占主导地位，而Aurora模型在多模态基础模型中表现优于所有数据特定模型。MUSE-Bench为未来的多模态预测研究提供了系统评估的基础。

🔬 方法详解

问题定义：本文旨在解决现有时间序列预测基准对上下文信息评估不足的问题，尤其是多模态数据的缺乏和评估设置的碎片化。

核心思路：提出MUSE-Bench基准，通过整合多种类型的上下文信息（如元数据、事件等），为多模态时间序列预测提供统一的评估框架，促进模型的全面比较与分析。

技术框架：MUSE-Bench包含十四个数据集，覆盖八个领域，采用共享的非重叠预测窗口和一致的评估指标，确保不同模型在相同条件下进行比较。

关键创新：MUSE-Bench的最大创新在于其对多种上下文信息的整合与评估，填补了现有基准在多模态预测领域的空白，提供了系统化的评估方法。

关键设计：在实验中，采用了多种预测模型，包括统计模型、数据特定模型和多模态基础模型，评估时使用一致的点估计和概率指标，确保评估的公平性与有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，数值时间序列基础模型在整体排名中表现优异，而Aurora模型在多模态基础模型中虽落后于数值模型，但超越了所有数据特定模型。外部上下文的引入显著提升了模型性能，错误或时间错位的上下文则导致性能下降。

🎯 应用场景

MUSE-Bench的提出为多模态时间序列预测提供了一个标准化的评估平台，适用于金融、气象、交通等多个领域的预测任务。通过系统评估不同模型的上下文利用能力，研究者能够更好地理解和改进预测模型的性能，推动相关领域的进步。

📄 摘要（原文）

Most time series forecasting benchmarks remain numerical-centric and provide limited support for evaluating contextual information that shapes real-world temporal dynamics. Existing multimodal benchmarks also suffer from limited data and context coverage, fragmented evaluation settings, and overreliance on aggregate evaluation. In this paper, we propose \textbf{MUSE-Bench}, a unified benchmark for multimodal time series forecasting with heterogeneous context. It comprises fourteen datasets across eight domains and six types of context: metadata, events, holidays, news, images, and numerical covariates. We evaluate diverse forecasting paradigms, including statistical, data-specific, foundation, multimodal, and general-purpose LLM forecasting methods under shared non-overlapping forecast windows, common target observations, and consistent point and probabilistic metrics. Extensive experiments yield three main findings. First, numerical time series foundation models dominate the overall ranking, while Aurora, the evaluated multimodal foundation model, trails the leading numerical TSFMs but outperforms all evaluated data-specific models. Second, ablations show that external context improves the four evaluated context-aware models, whereas incorrect or temporally misaligned context degrades performance. Third, general-purpose LLMs perform poorly as direct forecasters, and LLM-guided refinement does not yield consistent improvements. MUSE-Bench enables systematic evaluation of how forecasting models utilize context and provides a foundation for future multimodal forecasting research.