Evaluating System 1 vs. 2 Reasoning Approaches for Zero-Shot Time Series Forecasting: A Benchmark and Insights

📄 arXiv: 2503.01895v2 📥 PDF

作者: Haoxin Liu, Zhiyuan Zhao, Shiduo Li, B. Aditya Prakash

分类: cs.LG, cs.AI

发布日期: 2025-02-27 (更新: 2025-03-14)

🔗 代码/项目: GITHUB

💡 一句话要点

ReC4TS：首个零样本时间序列预测推理能力评估基准与洞察

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 零样本学习 推理能力 基准测试 大型语言模型 多模态学习 自洽性 TimeThinking数据集

📋 核心要点

  1. 现有时间序列预测方法缺乏对推理能力的系统评估，尤其是在零样本场景下，限制了模型泛化能力。
  2. 论文提出ReC4TS基准，系统评估多种推理策略在零样本时间序列预测中的有效性，并提供关键洞察。
  3. 实验结果表明，自洽性是有效的测试时推理策略，多模态时间序列预测更受益于推理策略。

📝 摘要（中文）

推理能力对于解决复杂任务至关重要。随着大型语言模型（LLMs）等基础模型的进步，涌现出各种推理策略，包括测试时增强（如思维链）和后训练优化（如DeepSeek-R1）。尽管这些策略在语言或视觉任务中表现出有效性，但它们在时间序列预测（TSF）中的适用性和影响，尤其是在具有挑战性的零样本TSF中，仍未得到充分探索。特别是，零样本TSF是否受益于推理，以及哪种类型的推理策略最有效，尚不清楚。为了弥合这一差距，我们提出了ReC4TS，这是第一个系统评估流行推理策略应用于零样本TSF任务有效性的基准。ReC4TS在跨越八个领域的多个数据集上进行了全面评估，涵盖单模态和多模态的短期和长期预测任务。更重要的是，ReC4TS提供了关键见解：（1）自洽性是目前最有效的测试时推理策略；（2）群体相对策略优化是激励后训练期间推理能力的更合适方法；（3）与单模态TSF相比，多模态TSF从推理策略中获益更多。除了这些见解之外，ReC4TS还建立了两个开创性的起点，以支持未来的零样本TSF推理研究：（1）一个新的数据集TimeThinking，包含带有来自多个高级LLM的推理轨迹的预测样本；（2）一种新的且简单的测试时缩放定律，已在基于自洽性推理策略的基础TSF模型上得到验证。所有数据和代码均可在https://github.com/AdityaLab/OpenTimeR上公开访问。

🔬 方法详解

问题定义：论文旨在解决零样本时间序列预测（Zero-Shot Time Series Forecasting, TSF）中推理能力评估不足的问题。现有方法缺乏对不同推理策略在TSF任务中有效性的系统性分析，尤其是在零样本场景下，这限制了模型在未见过数据集上的泛化能力。现有方法难以有效利用大型语言模型（LLMs）的推理能力来提升TSF性能。

核心思路：论文的核心思路是构建一个基准测试平台（ReC4TS），用于系统地评估各种推理策略在零样本TSF任务中的表现。通过在多个数据集和不同模态（单模态和多模态）上进行实验，分析不同推理策略的优缺点，并为未来的研究提供指导。同时，论文还提出了一个新的数据集（TimeThinking），包含带有推理轨迹的预测样本，以及一种新的测试时缩放定律。

技术框架：ReC4TS基准测试框架主要包含以下几个部分： 1. 数据集：涵盖8个领域的数据集，包括单模态和多模态数据，以及短期和长期预测任务。 2. 推理策略：评估多种流行的推理策略，包括测试时增强（如思维链）和后训练优化。 3. 评估指标：使用标准的TSF评估指标来衡量不同推理策略的性能。 4. TimeThinking数据集：包含带有来自多个高级LLM的推理轨迹的预测样本，用于训练和评估模型的推理能力。

关键创新：论文的主要创新点包括： 1. ReC4TS基准：首次系统地评估推理策略在零样本TSF中的有效性。 2. TimeThinking数据集：提供带有推理轨迹的预测样本，为研究TSF中的推理能力提供了新的资源。 3. 关键洞察：揭示了自洽性是有效的测试时推理策略，以及多模态TSF更受益于推理策略。

关键设计：论文的关键设计包括： 1. 数据集选择：选择具有代表性的数据集，涵盖不同的领域和模态，以保证评估的全面性。 2. 推理策略选择：选择流行的推理策略，包括测试时增强和后训练优化，以保证评估的实用性。 3. 评估指标选择：使用标准的TSF评估指标，以便与其他方法进行比较。 4. TimeThinking数据集构建：利用多个高级LLM生成推理轨迹，并对预测样本进行标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自洽性是目前最有效的测试时推理策略，能够显著提高零样本时间序列预测的准确性。此外，多模态时间序列预测比单模态时间序列预测更能从推理策略中获益。TimeThinking数据集和测试时缩放定律为未来的研究提供了有价值的资源和工具。

🎯 应用场景

该研究成果可应用于各种时间序列预测场景，例如金融预测、供应链管理、能源需求预测等。通过利用推理策略，可以提高模型在零样本场景下的预测精度和泛化能力。该研究为未来时间序列预测领域的研究提供了新的方向，尤其是在利用大型语言模型进行推理方面具有重要意义。

📄 摘要（原文）

Reasoning ability is crucial for solving challenging tasks. With the advancement of foundation models, such as the emergence of large language models (LLMs), a wide range of reasoning strategies has been proposed, including test-time enhancements, such as Chain-ofThought, and post-training optimizations, as used in DeepSeek-R1. While these reasoning strategies have demonstrated effectiveness across various challenging language or vision tasks, their applicability and impact on time-series forecasting (TSF), particularly the challenging zero-shot TSF, remain largely unexplored. In particular, it is unclear whether zero-shot TSF benefits from reasoning and, if so, what types of reasoning strategies are most effective. To bridge this gap, we propose ReC4TS, the first benchmark that systematically evaluates the effectiveness of popular reasoning strategies when applied to zero-shot TSF tasks. ReC4TS conducts comprehensive evaluations across datasets spanning eight domains, covering both unimodal and multimodal with short-term and longterm forecasting tasks. More importantly, ReC4TS provides key insights: (1) Self-consistency emerges as the most effective test-time reasoning strategy; (2) Group-relative policy optimization emerges as a more suitable approach for incentivizing reasoning ability during post-training; (3) Multimodal TSF benefits more from reasoning strategies compared to unimodal TSF. Beyond these insights, ReC4TS establishes two pioneering starting blocks to support future zero-shot TSF reasoning research: (1) A novel dataset, TimeThinking, containing forecasting samples annotated with reasoning trajectories from multiple advanced LLMs, and (2) A new and simple test-time scaling-law validated on foundational TSF models enabled by self-consistency reasoning strategy. All data and code are publicly accessible at: https://github.com/AdityaLab/OpenTimeR