Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading

📄 arXiv: 2604.27637v1 📥 PDF

作者: Nicholas Sadjoli, Tim Siefken, Atin Ghosh, Yifan Mai, Daniel Dahlmeier

分类: cs.AI

发布日期: 2026-04-30

备注: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 6: Industry Track)

DOI: 10.18653/v1/2025.acl-industry.44

💡 一句话要点

揭示LLM评估陷阱：未优化Prompt可能导致模型排序失真

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM评估 Prompt优化 模型选择 基准测试

📋 核心要点

  1. 现有LLM评估方法使用静态prompt，忽略了针对不同模型进行prompt优化的行业实践。
  2. 该研究的核心在于探索prompt优化(PO)对LLM评估结果的影响，强调其重要性。
  3. 实验结果表明，prompt优化显著影响LLM的排名，强调了针对每个模型进行prompt优化的必要性。

📝 摘要（中文）

当前的大型语言模型(LLM)评估框架在所有被评估模型上使用相同的静态prompt模板。这与常见的行业实践不同，行业实践通常采用prompt优化(PO)技术，针对每个模型优化prompt，以最大化应用性能。本文研究了PO对LLM评估的影响。我们在公共学术和内部行业基准上的结果表明，PO极大地影响了模型的最终排名。这突出了从业者在进行评估时，针对每个模型执行PO以选择给定任务的最佳模型的重要性。

🔬 方法详解

问题定义：论文旨在解决LLM评估中由于使用静态、未优化的prompt而导致的模型性能评估不准确的问题。现有评估方法忽略了针对不同LLM进行prompt优化的行业实践，这可能导致对模型能力的错误判断，从而影响模型选择的决策。

核心思路：核心思路是强调在LLM评估过程中进行prompt优化(PO)的重要性。通过针对每个模型进行prompt优化，可以更准确地评估模型的真实性能，从而避免因prompt不适配而导致的性能低估或高估。

技术框架：该论文没有提出一个全新的技术框架，而是侧重于实验分析。其主要流程包括：1) 选择LLM模型和评估数据集；2) 对每个模型进行prompt优化，采用合适的prompt优化策略；3) 使用优化后的prompt评估模型性能；4) 将优化后的评估结果与使用静态prompt的评估结果进行比较，分析prompt优化对模型排名的影响。

关键创新：关键创新在于揭示了prompt优化对LLM评估结果的显著影响。以往的LLM评估研究往往忽略了prompt优化这一重要因素，导致评估结果可能存在偏差。该研究通过实验证明了prompt优化可以显著改变模型的排名，从而强调了在LLM评估中进行prompt优化的必要性。

关键设计：论文的关键设计在于实验设置，包括选择具有代表性的LLM模型、评估数据集和prompt优化策略。具体的prompt优化策略可能包括人工调整、基于梯度的方法或进化算法等。论文需要详细描述这些实验设置，以便其他研究者可以复现和验证其结果。此外，论文还需要考虑如何公平地比较不同模型在不同prompt下的性能，例如使用相同的评估指标和控制变量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，prompt优化能够显著改变LLM的排名。在公共学术和内部行业基准测试中，经过prompt优化后，模型的相对性能发生了显著变化。这意味着使用静态prompt评估LLM可能会导致选择次优模型，而prompt优化能够帮助选择更适合特定任务的模型。

🎯 应用场景

该研究成果可应用于各种需要选择最佳LLM模型的场景，例如智能客服、文本生成、机器翻译等。通过在模型评估阶段进行prompt优化，可以更准确地了解模型的真实能力，从而选择最适合特定任务的模型，提高应用性能和用户体验。该研究也为LLM评估框架的设计提供了新的思路，未来评估框架应考虑prompt优化因素。

📄 摘要（原文）

Current Large Language Model (LLM) evaluation frameworks utilize the same static prompt template across all models under evaluation. This differs from the common industry practice of using prompt optimization (PO) techniques to optimize the prompt for each model to maximize application performance. In this paper, we investigate the effect of PO towards LLM evaluations. Our results on public academic and internal industry benchmarks show that PO greatly affects the final ranking of models. This highlights the importance of practitioners performing PO per model when conducting evaluations to choose the best model for a given task.