How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation

📄 arXiv: 2610.05671v1 📥 PDF

作者: Haoyue Liu, Zhichao Wang, Huanyu Yan, Xiaoying Tang

分类: cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出BudgetAPO以解决紧预算下的自动提示优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动提示优化 噪声自适应 模型调用优化 单阶段优化器 机器学习

📋 核心要点

  1. 现有的自动提示优化方法在紧预算环境下表现不佳，无法有效利用有限的模型调用次数。
  2. 本文提出的BudgetAPO是一种单阶段优化器，采用噪声自适应评估规则，优化了模型调用的效率。
  3. 实验结果显示，BudgetAPO在多个基准测试中表现优异，显著减少了所需的模型调用次数，提升了优化效果。

📝 摘要（中文）

自动提示优化（APO）被广泛应用于在不更新权重的情况下适应大型语言模型，取得了良好效果。然而，现有方法如GEPA和OPRO假设需要数百到数千次的模型调用，这在付费和限速的API环境下并不实际。在紧预算下，这些方法存在两方面的不足：多阶段管道可能耗尽预算并返回未改变的种子提示，而单阶段方法则在固定大小的小批量上比较候选，忽视了每个任务的噪声。为此，本文提出了BudgetAPO，这是一种适用于紧预算环境的单阶段优化器。BudgetAPO结合了噪声自适应规则、固定切片的配对比较决策以及反思操作符，经过在七个基准和五个主题模型上的广泛实验，BudgetAPO在每个主题上均排名第一，并在Holm校正的配对测试中超越所有基线，同时在250次调用中返回种子的比例为13%，而GEPA为86%。

🔬 方法详解

问题定义：本文旨在解决在紧预算条件下，现有自动提示优化方法（如GEPA和OPRO）无法有效利用有限的模型调用次数的问题。这些方法通常假设需要大量的模型调用，导致在实际应用中难以实现。

核心思路：BudgetAPO的核心思路是通过引入噪声自适应规则，动态调整评估切片的大小，以适应每个任务的噪声水平，从而提高优化效率。该方法通过固定切片实现配对比较，确保每次接受或拒绝决策的有效性。

技术框架：BudgetAPO的整体架构包括三个主要模块：噪声自适应评估模块、固定切片决策模块和反思操作符模块。噪声自适应模块通过短探测测量任务噪声，调整评估切片；固定切片模块进行配对比较；反思操作符则共同重写推理策略和输出格式。

关键创新：BudgetAPO的关键创新在于其噪声自适应评估机制和反思操作符的结合，这与现有方法在处理模型调用次数和任务噪声方面的静态评估方式形成鲜明对比。

关键设计：在设计中，BudgetAPO采用了动态调整的评估切片大小，确保在每次决策中都能有效利用预算。此外，反思操作符的引入使得模型能够在推理策略和输出格式上进行更灵活的调整，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，BudgetAPO在七个基准测试中均排名第一，并在Holm校正的配对测试中超越所有基线。与GEPA相比，BudgetAPO在250次调用中仅返回13%的种子提示，而GEPA则为86%。在GPT-OSS-20B模型上，BudgetAPO的100次调用得分相当于GEPA所需的4.5倍调用次数。

🎯 应用场景

BudgetAPO的研究成果在多个领域具有潜在应用价值，尤其是在需要高效利用有限计算资源的场景中，如在线服务、API调用优化和实时系统。其创新的噪声自适应机制能够为其他机器学习任务提供新的思路，推动自动化优化技术的发展。

📄 摘要（原文）

Automatic prompt optimization (APO) has been widely employed to adapt large language models without updating their weights, yielding promising results. However, existing methods such as GEPA and OPRO assume hundreds to thousands of subject-model calls, far more than is practical behind paid, rate-limited APIs. Under tight budgets they fail in two ways: multi-stage pipelines can exhaust the budget and return the seed prompt unchanged, while single-stage methods compare candidates on fixed-size minibatches, regardless of each task's noise. As a remedy, we introduce BudgetAPO, a single-stage optimizer for the tight-budget regime. BudgetAPO incorporates (1) a noise-adaptive rule that sizes the evaluation slice to each task's noise, measured by a short probe; (2) a fixed slice that turns every accept/reject decision into a paired comparison; and (3) a reflective operator that rewrites reasoning strategy and output format jointly. Extensive results across seven benchmarks and five subject models demonstrate that BudgetAPO ranks first on every subject and beats every baseline under Holm-corrected paired tests, while returning the seed in 13% of runs at 250 calls against 86% for GEPA. On GPT-OSS-20B, GEPA needs 4.5 times as many calls to match BudgetAPO's 100-call score.