WhatIf-Bench: Benchmarking Intervention-Aware Time Series Forecasting
作者: Arjun Ashok, Mihir Parmar, Palash Goyal, Bhavana Dalvi Mishra, Chun-Liang Li, Irina Rish, Alexandre Drouin, Jinsung Yoon, Tomas Pfister
分类: cs.AI, cs.LG, stat.ML
发布日期: 2026-10-19
备注: Leaderboard at https://huggingface.co/spaces/arjunashok/WhatIf-Bench; code at https://github.com/ashok-arjun/whatif-bench
💡 一句话要点
提出WhatIf-Bench以解决干预感知时间序列预测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间序列预测 干预感知 基准测试 机器学习 智能系统
📋 核心要点
- 现有方法在处理未来未见事件的预测时表现不佳，尤其是在协变量共同变化的情况下。
- 论文提出WhatIf-Bench基准，通过半合成数据评估模型在干预感知时间序列预测中的能力。
- 实验结果显示，尽管所有模型在重播未来的预测上表现良好，但在未见未来的预测上表现显著下降，尤其是回归基线模型。
📝 摘要（中文）
近年来，时间序列基础模型（TSFMs）能够在上下文中处理协变量，扩展了零样本预测到受外部因素驱动的问题。这使得场景分析成为可能：预测目标如何响应设置协变量为未来选定值的事件。我们引入WhatIf-Bench，一个基准测试，衡量预测者如何利用协变量来预测目标对未来事件的响应。WhatIf-Bench是半合成的，时间序列来自数据中心、电网、交通和水网络的机械模拟器，控制协变量与目标之间的关系。每个任务呈现干预协变量的事件历史，然后要求预测未来事件，分为重播已见值（Replay）或设置为未见值（Novel）。
🔬 方法详解
问题定义：论文要解决的问题是如何有效地利用协变量进行时间序列预测，尤其是在未来事件未见的情况下。现有方法在处理这些复杂场景时的可靠性不足，尤其是在协变量共同变化时。
核心思路：论文的核心思路是通过WhatIf-Bench基准测试，系统性地评估不同模型在干预感知时间序列预测中的表现，特别是对未来未见事件的响应能力。这样的设计旨在揭示模型在不同场景下的泛化能力。
技术框架：WhatIf-Bench的整体架构包括数据生成、任务设计和模型评估三个主要模块。数据生成使用机械模拟器创建时间序列，任务设计则包括重播和未见事件的预测，最后通过多种模型进行评估。
关键创新：最重要的技术创新点在于引入了半合成的基准测试框架，能够系统地评估模型在不同协变量和历史事件条件下的预测能力。这与现有方法的主要区别在于其关注于干预感知的预测能力。
关键设计：在实验中，设置了多种协变量、历史事件数量和事件长度，生成了37,665个任务。模型的评估包括TSFMs、前沿的LLMs和简单的回归基线，确保了对比的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLMs在预测能力上优于最佳的TSFMs，尤其是在重播未来的预测中，技能提升达到48%至85%。然而，在未见未来的预测中，所有模型的表现显著下降，技能范围为-7%至50%，回归基线模型的下降幅度最大。这揭示了泛化能力的挑战。
🎯 应用场景
该研究的潜在应用领域包括智能电网管理、交通流量预测和水资源管理等。通过准确预测系统对未来事件的响应，可以优化资源配置，提高系统的效率和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent time series foundation models (TSFMs) can consume covariates in-context, extending zero-shot forecasting to problems driven by external factors. This enables scenario analysis: forecasting how a target responds to events that set covariates to chosen future values. Whether they can do this reliably is an open question. We introduce WhatIf-Bench, a benchmark measuring how well forecasters use covariates to forecast a target's response to future events. WhatIf-Bench is semi-synthetic: time series come from mechanistic simulators of data centers, power grids, road traffic, and water networks, with controlled covariate-target relationships grounded in each system. Each task presents a history of events intervening on covariates, then asks to forecast a future event that either replays seen values (Replay) or sets them to unseen ones (Novel). Varying the number of covariates, historical events, and event length yields 37,665 tasks. Evaluating TSFMs, frontier LLMs, and simple regression baselines, we find the LLMs reach the highest skill (improvement over a naive baseline), ahead of the best TSFMs. Every model forecasts well on Replay futures (48 to 85% skill) but drops to -7 to 50% on Novel futures, with the regression baselines falling the most. Skill on Novel futures also falls as events set more covariates jointly. More historical events raise skill on Novel futures across the board, but large differences remain. WhatIf-Bench reveals generalization to Novel futures as the core challenge, and offers a testbed toward arbitrary scenario analysis.