What If TSF: A Benchmark for Reframing Forecasting as Scenario-Guided Multimodal Forecasting

📄 arXiv: 2601.08509v1 📥 PDF

作者: Jinkwan Jang, Hyunbin Jin, Hyungjin Park, Kyubyung Chae, Taesup Kim

分类: cs.AI, cs.CL

发布日期: 2026-01-13

备注: 30 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出What If TSF基准，用于评估情景引导的多模态时间序列预测模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 多模态学习 情景引导 基准测试 大型语言模型

📋 核心要点

  1. 现有时间序列预测方法主要依赖单模态数据和历史模式外推，忽略了情景信息。
  2. 提出What If TSF基准，通过提供专家设计的情景文本，评估模型在情景引导下的预测能力。
  3. 该基准提供了一个严格的测试平台，用于评估模型是否能有效利用文本情景信息进行预测。

📝 摘要（中文）

时间序列预测对于现实世界的决策至关重要，但现有方法大多是单模态的，依赖于历史模式的外推。虽然大型语言模型（LLM）的最新进展突显了多模态预测的潜力，但现有的基准主要提供回顾性的或未对齐的原始上下文，这使得我们无法明确这些模型是否有效地利用了文本输入。在实践中，人类专家会将假设情景与历史证据相结合，在不同情景下，从相同的观察结果中产生不同的预测。受此启发，我们引入了What If TSF (WIT)，这是一个多模态预测基准，旨在评估模型是否可以根据上下文文本（尤其是未来情景）来调节其预测。通过提供专家精心设计的合理或反事实情景，WIT为情景引导的多模态预测提供了一个严格的测试平台。该基准可在https://github.com/jinkwan1115/WhatIfTSF上获取。

🔬 方法详解

问题定义：现有时间序列预测方法主要依赖于对历史数据的单模态分析和外推，缺乏对未来可能发生的情景的考虑。这导致模型难以应对现实世界中复杂多变的情况，尤其是在需要根据不同情景做出不同预测的场景下。现有基准测试数据集通常提供回顾性或未对齐的原始上下文，无法有效评估模型利用情景信息进行预测的能力。

核心思路：该论文的核心思路是将时间序列预测重新定义为情景引导的多模态预测问题。通过引入专家设计的“假设情景”（What-If Scenarios），模型需要根据历史数据和给定的情景文本来生成预测。这种方法模拟了人类专家在进行预测时会考虑不同情景的思维方式，从而提高预测的准确性和可靠性。

技术框架：What If TSF基准测试数据集包含时间序列数据和与之对应的专家设计的文本情景。模型接收历史时间序列数据和情景文本作为输入，然后生成未来的时间序列预测。评估指标用于衡量模型在不同情景下的预测准确性。该框架允许研究人员开发和评估各种多模态预测模型，例如结合时间序列模型和大型语言模型的模型。

关键创新：该论文的关键创新在于提出了一个专门用于评估情景引导的多模态时间序列预测的基准测试数据集。与现有基准相比，What If TSF提供了专家精心设计的、与时间序列数据对齐的文本情景，从而能够更有效地评估模型利用情景信息进行预测的能力。此外，该基准还鼓励研究人员开发能够理解和推理文本情景的多模态预测模型。

关键设计：What If TSF基准的关键设计包括：1) 专家设计的情景文本，确保情景的合理性和多样性；2) 时间序列数据与情景文本的对齐，保证模型能够有效地利用情景信息；3) 多种评估指标，全面衡量模型在不同情景下的预测性能。具体的数据集构建和评估指标的选择在论文中进行了详细描述，但具体参数设置和网络结构取决于所使用的具体模型。

📊 实验亮点

该论文提出了一个新的多模态时间序列预测基准What If TSF，它包含专家设计的合理和反事实情景。通过这个基准，研究人员可以评估模型在情景引导下的预测能力。该基准的发布为多模态时间序列预测领域的研究提供了一个有力的工具。

🎯 应用场景

该研究成果可应用于金融风险预测、供应链管理、能源需求预测等领域。通过结合历史数据和未来情景，可以更准确地预测市场趋势、需求变化和潜在风险，从而帮助企业和政府做出更明智的决策。未来，该方法还可以扩展到其他领域，例如医疗健康和环境监测，为更广泛的应用提供支持。

📄 摘要（原文）

Time series forecasting is critical to real-world decision making, yet most existing approaches remain unimodal and rely on extrapolating historical patterns. While recent progress in large language models (LLMs) highlights the potential for multimodal forecasting, existing benchmarks largely provide retrospective or misaligned raw context, making it unclear whether such models meaningfully leverage textual inputs. In practice, human experts incorporate what-if scenarios with historical evidence, often producing distinct forecasts from the same observations under different scenarios. Inspired by this, we introduce What If TSF (WIT), a multimodal forecasting benchmark designed to evaluate whether models can condition their forecasts on contextual text, especially future scenarios. By providing expert-crafted plausible or counterfactual scenarios, WIT offers a rigorous testbed for scenario-guided multimodal forecasting. The benchmark is available at https://github.com/jinkwan1115/WhatIfTSF.