MoTime: A Dataset Suite for Multimodal Time Series Forecasting

📄 arXiv: 2505.15072v2 📥 PDF

作者: Xin Zhou, Weiqing Wang, Francisco J. Baldán, Wray Buntine, Christoph Bergmeir

分类: cs.LG, cs.CL, cs.DB, cs.IR

发布日期: 2025-05-21 (更新: 2025-05-30)

💡 一句话要点

MoTime：多模态时间序列预测数据集套件，支持结构化模态效用评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态时间序列预测 数据集 基准测试 冷启动预测 模态融合

📋 核心要点

  1. 现有时间序列预测研究主要集中在单模态数据上，忽略了现实世界中日益增长的多模态数据源。
  2. MoTime数据集套件通过将时间序列与文本、图像等外部模态相结合，为多模态时间序列预测提供了基准。
  3. 实验表明，外部模态在常见预测和冷启动预测中均能提升性能，尤其对短序列效果显著，但效果受数据特性影响。

📝 摘要（中文）

本文提出了MoTime，一个多模态时间序列预测数据集套件，该套件将时间信号与文本、元数据和图像等外部模态配对。MoTime覆盖了不同的领域，支持在两种场景下对模态效用进行结构化评估：1) 常见的预测任务，其中可获得不同长度的历史数据；2) 冷启动预测，其中没有历史数据可用。实验表明，外部模态可以提高这两种场景下的预测性能，对于某些数据集中较短的序列尤其有效，但影响取决于数据特征。通过公开数据集和研究结果，旨在支持未来多模态时间序列预测研究中更全面和真实的基准。

🔬 方法详解

问题定义：论文旨在解决多模态时间序列预测问题，即如何有效地利用时间序列数据以及相关的外部模态信息（如文本、图像、元数据）来提升预测精度。现有方法主要集中于单模态时间序列，忽略了外部模态信息，或者简单地将多模态信息进行融合，缺乏对不同模态贡献的深入分析。

核心思路：论文的核心思路是构建一个包含多种模态信息的时间序列数据集套件，并设计结构化的评估方案，以系统地研究不同模态在不同预测场景下的效用。通过提供统一的数据集和评估标准，促进多模态时间序列预测算法的开发和比较。

技术框架：MoTime数据集套件包含多个不同领域的数据集，每个数据集都包含时间序列数据以及相关的外部模态信息。论文定义了两种预测场景：1) 常见的预测任务，其中可获得不同长度的历史数据；2) 冷启动预测，其中没有历史数据可用。研究人员可以使用MoTime数据集，在这些场景下评估不同多模态预测模型的性能。

关键创新：MoTime的关键创新在于其提供了一个结构化的多模态时间序列预测评估框架。它不仅提供了包含多种模态信息的数据集，还定义了不同的预测场景，并鼓励研究人员分析不同模态对预测性能的贡献。这有助于更深入地理解多模态时间序列预测的内在机制。

关键设计：MoTime数据集套件涵盖了不同的领域，例如零售、交通、能源等，每个数据集都包含不同类型的外部模态信息。数据集的规模和时间跨度也各不相同，以满足不同研究需求。论文没有具体涉及模型结构或损失函数的设计，而是侧重于数据集的构建和评估方案的设计。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在MoTime数据集上，外部模态可以提高预测性能，尤其是在短序列预测和冷启动预测场景下。虽然不同数据集上的提升幅度有所不同，但总体趋势表明，多模态信息对于提升时间序列预测的准确性具有重要价值。例如，在某些数据集中，结合外部模态可以将预测误差降低10%以上。

🎯 应用场景

MoTime数据集套件可广泛应用于零售预测、交通流量预测、能源需求预测等领域。通过利用外部模态信息，可以提升预测精度，从而帮助企业和组织做出更明智的决策。例如，在零售预测中，可以结合商品描述、促销信息等外部模态来提升销售预测的准确性。该研究为多模态时间序列预测提供了基准，促进了相关算法的开发和应用。

📄 摘要（原文）

While multimodal data sources are increasingly available from real-world forecasting, most existing research remains on unimodal time series. In this work, we present MoTime, a suite of multimodal time series forecasting datasets that pair temporal signals with external modalities such as text, metadata, and images. Covering diverse domains, MoTime supports structured evaluation of modality utility under two scenarios: 1) the common forecasting task, where varying-length history is available, and 2) cold-start forecasting, where no historical data is available. Experiments show that external modalities can improve forecasting performance in both scenarios, with particularly strong benefits for short series in some datasets, though the impact varies depending on data characteristics. By making datasets and findings publicly available, we aim to support more comprehensive and realistic benchmarks in future multimodal time series forecasting research.