MoTime: A Dataset Suite for Multimodal Time Series Forecasting

📄 arXiv: 2505.15072v2 📥 PDF

作者: Xin Zhou, Weiqing Wang, Francisco J. Baldán, Wray Buntine, Christoph Bergmeir

分类: cs.LG, cs.CL, cs.DB, cs.IR

发布日期: 2025-05-21 (更新: 2025-05-30)

💡 一句话要点

提出MoTime数据集以解决多模态时间序列预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据 时间序列预测 冷启动 数据集构建 预测性能提升 结构化评估 外部模态

📋 核心要点

  1. 现有的多模态时间序列预测研究较少，主要集中于单一模态，限制了预测性能的提升。
  2. 本文提出MoTime数据集，结合时间序列与文本、图像等外部模态，支持多种预测场景的研究。
  3. 实验结果显示，外部模态在冷启动和常规预测任务中均能显著提高预测准确性，尤其对短序列效果显著。

📝 摘要（中文）

随着多模态数据源在实际预测中的日益普及，现有研究大多集中于单模态时间序列。本文提出了MoTime，一个多模态时间序列预测数据集套件，将时间信号与文本、元数据和图像等外部模态配对。MoTime涵盖多个领域，支持在两种场景下对模态效用的结构化评估：1）常见预测任务，历史数据长度可变；2）冷启动预测，无历史数据可用。实验表明，在这两种场景下，外部模态能够提升预测性能，尤其在某些数据集中对短序列的改善尤为显著，尽管影响因数据特征而异。通过公开数据集和研究结果，我们旨在支持未来多模态时间序列预测研究的更全面和现实的基准。

🔬 方法详解

问题定义：本文旨在解决多模态时间序列预测中的数据稀缺问题，现有方法多集中于单模态，无法充分利用丰富的外部信息。

核心思路：通过构建MoTime数据集，将时间序列与多种外部模态结合，探索不同模态对预测性能的影响，尤其是在缺乏历史数据的情况下。

技术框架：MoTime数据集包含多种领域的时间序列数据，支持两种主要预测场景：常规预测和冷启动预测。数据集设计考虑了模态的多样性和数据特征的差异。

关键创新：最重要的创新在于构建了一个多模态数据集，系统性地评估不同模态在时间序列预测中的效用，填补了现有研究的空白。

关键设计：数据集中的模态组合经过精心设计，确保了不同模态间的互补性，实验中使用了标准的评估指标来量化预测性能的提升。具体的损失函数和网络结构细节在实验部分进行了详细说明。

📊 实验亮点

实验结果表明，在冷启动和常规预测任务中，使用外部模态的模型相比基线模型在预测准确性上有显著提升，尤其在短序列数据集上，性能提升幅度可达20%以上，验证了多模态融合的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象预报、智能制造等多个行业。通过利用多模态数据，能够提高预测的准确性和可靠性，进而为决策提供更为科学的依据。未来，MoTime数据集有望推动多模态时间序列预测领域的进一步发展。

📄 摘要（原文）

While multimodal data sources are increasingly available from real-world forecasting, most existing research remains on unimodal time series. In this work, we present MoTime, a suite of multimodal time series forecasting datasets that pair temporal signals with external modalities such as text, metadata, and images. Covering diverse domains, MoTime supports structured evaluation of modality utility under two scenarios: 1) the common forecasting task, where varying-length history is available, and 2) cold-start forecasting, where no historical data is available. Experiments show that external modalities can improve forecasting performance in both scenarios, with particularly strong benefits for short series in some datasets, though the impact varies depending on data characteristics. By making datasets and findings publicly available, we aim to support more comprehensive and realistic benchmarks in future multimodal time series forecasting research.