Forecast Workflow Bench: Evaluating Language-Model Decisions with Budgeted Forecast Tools

📄 arXiv: 2609.27385v1 📥 PDF

作者: Shunya Nagashima

分类: cs.LG, cs.AI

发布日期: 2026-09-23

💡 一句话要点

提出FWBench以评估语言模型在预算约束下的决策能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 语言模型 决策评估 预算约束 电力调度 资源优化

📋 核心要点

  1. 现有的时间序列预测模型在决策过程中仅关注准确性，忽视了预测成本和决策质量的综合评估。
  2. FWBench通过引入预算约束和决策质量评估，提供了一种新的框架来评估语言模型的决策能力。
  3. 实验结果表明，GPT-6 Astra在预算限制下，通过选择性购买短期预测，显著提高了决策效果。

📝 摘要（中文）

时间序列基础模型（TSFMs）为操作决策提供预测，但仅凭准确性无法衡量其价值。评估使用这些模型的代理需要衡量决策质量和预测成本。FWBench在1251个电力和自行车租赁案例上评估这一能力，使用固定预测工具和模拟容量合同。代理选择模型、历史数据和预测范围，然后提交容量以最小化既定的损失成本目标。我们评估了两种托管和八种本地配置，包括小型语言模型，并测试了有无TSFMs的本地模型。GPT-6 Astra选择性地购买便宜的短期预测，仅使用2.5%的预算，并在三种损失成本权重评分下超越固定策略。FWBench使得在成本约束下，语言模型选择和使用时间序列预测进行决策的评估可重复。

🔬 方法详解

问题定义：本研究旨在解决现有时间序列预测模型在决策评估中仅关注准确性而忽视成本和决策质量的问题。现有方法未能综合考虑预测成本与决策效果的平衡。

核心思路：论文提出FWBench框架，通过预算约束评估语言模型的决策能力，强调在决策过程中同时考虑预测成本和决策质量。设计上，FWBench允许代理选择不同的模型和历史数据，以优化决策。

技术框架：FWBench的整体架构包括数据输入模块、模型选择模块、决策生成模块和评估模块。代理在这些模块中选择合适的模型和历史数据，生成决策并进行评估。

关键创新：FWBench的创新在于其综合考虑了预测成本与决策质量的评估，提供了一种新的评估标准，区别于传统仅关注预测准确性的评估方法。

关键设计：在实验中，设置了不同的损失函数和预算限制，使用了小型语言模型和TSFMs的组合，确保了模型在不同配置下的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GPT-6 Astra在仅使用2.5%预算的情况下，选择性购买短期预测，显著超越了固定策略，尤其在三种不同的损失成本权重下，表现出更优的决策质量。这一发现表明，预算管理在决策优化中的重要性。

🎯 应用场景

该研究的潜在应用领域包括电力调度、交通管理和资源分配等需要实时决策的场景。通过评估语言模型在预算约束下的决策能力，FWBench可以帮助企业优化资源配置，提高决策效率，降低成本。未来，FWBench可能推动更多领域的智能决策系统的发展。

📄 摘要（原文）

Time-series foundation models (TSFMs) provide forecasts for operational decisions, but accuracy alone does not determine their value. Evaluating agents that use these models requires measuring decision quality and forecast cost. FWBench evaluates this capability on 1,251 electricity and cycle-hire cases using fixed forecast tools and simulated capacity contracts. Agents select models, histories and horizons, then submit capacities to minimize a stated loss-cost objective. We evaluated two hosted and eight local configurations, including small language models, and tested local models with and without TSFMs. GPT-6 Astra bought inexpensive short-horizon forecasts selectively, using 2.5% of the budget, and outperformed fixed policies when the saved decisions were scored with three loss-cost weightings. FWBench enables reproducible evaluation of how language models select and use time-series forecasts to make decisions under cost constraints.