Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs

📄 arXiv: 2508.09904v1 📥 PDF

作者: Arjun Ashok, Andrew Robert Williams, Vincent Zhihao Zheng, Irina Rish, Nicolas Chapados, Étienne Marcotte, Valentina Zantedeschi, Alexandre Drouin

分类: cs.LG, cs.AI

发布日期: 2025-08-13

💡 一句话要点

提出四种策略以提升LLMs在零-shot情境下的预测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文辅助预测 大型语言模型 零-shot学习 推理可解释性 任务难度评估

📋 核心要点

  1. 现有方法主要依赖简单的直接提示，未能充分发挥LLMs在上下文辅助预测中的潜力。
  2. 论文提出四种策略，分别为ReDP、CorDP、IC-DP和RouteDP，以提升LLMs的预测能力和效率。
  3. 在CiK基准上进行的实验表明，所提策略在不同规模的LLMs上均显著优于传统的简单提示方法。

📝 摘要（中文）

在现实世界的预测中，模型需要整合历史数据和相关的上下文信息，通常以文本形式存在。尽管近期研究表明大型语言模型（LLMs）可以通过简单的直接提示进行有效的上下文辅助预测，但其潜力尚未得到充分挖掘。本文提出四种策略，填补了这一空白，提供了对LLMs在此情境下零-shot能力的新见解。ReDP通过引导明确的推理轨迹来提高可解释性，使我们能够独立评估模型对上下文的推理与预测准确性。CorDP则利用LLMs来精炼现有预测，增强其在实际预测流程中的适用性。IC-DP建议在提示中嵌入历史上下文辅助预测任务的示例，显著提高了准确性。最后，RouteDP通过使用LLMs估计任务难度，优化资源效率，将最具挑战性的任务分配给更大的模型。通过在CiK基准上评估不同类型的上下文辅助预测任务，我们的策略在不同规模和类型的LLMs上均表现出明显的优势。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在上下文辅助预测中的潜力未被充分挖掘的问题。现有方法主要依赖简单的直接提示，导致模型的推理能力和预测准确性受到限制。

核心思路：论文提出四种策略，通过引导模型进行更有效的上下文处理和任务分配，提升其在零-shot情境下的预测能力。ReDP关注推理过程的可解释性，CorDP则通过上下文精炼现有预测，IC-DP嵌入历史示例以提高准确性，而RouteDP优化资源分配。

技术框架：整体架构包括四个主要模块：ReDP用于推理轨迹的引导，CorDP用于现有预测的精炼，IC-DP用于历史示例的嵌入，RouteDP用于任务难度的评估与分配。各模块协同工作，以实现更高效的预测。

关键创新：最重要的创新在于提出了四种不同的策略，特别是通过引导推理轨迹和任务难度评估，显著提升了LLMs在上下文辅助预测中的表现。这与传统的简单提示方法有本质区别。

关键设计：在设计中，ReDP通过明确的推理轨迹提升可解释性，CorDP通过上下文信息精炼预测，IC-DP通过历史示例增强模型的学习能力，而RouteDP则通过动态任务分配优化资源使用。

📊 实验亮点

实验结果显示，所提策略在不同规模的LLMs上均显著优于传统的简单提示方法。例如，IC-DP在最大模型上提高了预测准确性，具体提升幅度未知，且在多种上下文辅助预测任务中表现出明显的优势。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象预报和供应链管理等需要结合历史数据和上下文信息的场景。通过提升LLMs的预测能力，能够为决策提供更为准确的支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Forecasting in real-world settings requires models to integrate not only historical data but also relevant contextual information, often available in textual form. While recent work has shown that large language models (LLMs) can be effective context-aided forecasters via naïve direct prompting, their full potential remains underexplored. We address this gap with 4 strategies, providing new insights into the zero-shot capabilities of LLMs in this setting. ReDP improves interpretability by eliciting explicit reasoning traces, allowing us to assess the model's reasoning over the context independently from its forecast accuracy. CorDP leverages LLMs solely to refine existing forecasts with context, enhancing their applicability in real-world forecasting pipelines. IC-DP proposes embedding historical examples of context-aided forecasting tasks in the prompt, substantially improving accuracy even for the largest models. Finally, RouteDP optimizes resource efficiency by using LLMs to estimate task difficulty, and routing the most challenging tasks to larger models. Evaluated on different kinds of context-aided forecasting tasks from the CiK benchmark, our strategies demonstrate distinct benefits over naïve prompting across LLMs of different sizes and families. These results open the door to further simple yet effective improvements in LLM-based context-aided forecasting.