Prompting Science Report 1: Prompt Engineering is Complicated and Contingent

📄 arXiv: 2503.04818v1 📥 PDF

作者: Lennart Meincke, Ethan Mollick, Lilach Mollick, Dan Shapiro

分类: cs.CL, cs.AI

发布日期: 2025-03-04

💡 一句话要点

提示工程复杂且依赖情境：基准测试标准选择和提示策略对大语言模型性能影响显著

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提示工程 基准测试 情境依赖 性能评估

📋 核心要点

  1. 现有大语言模型（LLM）的基准测试缺乏统一标准，导致评估结果受标准选择影响，难以客观衡量模型性能。
  2. 该研究通过实验分析不同提示策略（如礼貌用语、约束回答）对LLM性能的影响，揭示提示工程的复杂性。
  3. 实验结果表明，提示策略的效果具有情境依赖性，不存在普遍适用的最优提示方法，需根据具体任务调整。

📝 摘要（中文）

本报告是系列报告的第一篇，旨在通过严格的测试，帮助商业、教育和政策领导者理解使用人工智能的技术细节。本报告展示了两点：首先，衡量大型语言模型（LLM）是否通过基准测试没有单一标准，选择不同的标准会对LLM在该基准测试中的表现产生重大影响。选择的标准将取决于在特定情况下使用LLM的目标。其次，很难预先知道特定的提示方法是否会帮助或损害LLM回答任何特定问题的能力。具体而言，我们发现，有时对LLM礼貌有助于提高性能，有时会降低性能。我们还发现，在某些情况下，约束AI的答案有助于提高性能，但在其他情况下可能会降低性能。总而言之，这表明基准测试AI性能并非一刀切，并且特定的提示公式或方法（例如对AI礼貌）并非普遍有价值。

🔬 方法详解

问题定义：现有的大语言模型（LLM）基准测试存在一个关键问题：缺乏统一的评估标准。不同的评估标准会导致对同一个LLM性能的不同结论，使得用户难以选择合适的模型或优化提示策略。此外，如何设计有效的提示（prompt）来提升LLM在特定任务上的表现也是一个挑战，因为不同的提示方法可能产生截然不同的效果。

核心思路：该研究的核心思路是通过实验的方式，系统性地探究不同基准测试标准和提示策略对LLM性能的影响。研究者关注两个关键因素：一是基准测试标准的选取，二是提示策略的设计（例如，是否使用礼貌用语，是否对答案进行约束）。通过对比不同条件下的实验结果，揭示这些因素对LLM性能的复杂影响。

技术框架：该研究采用实验研究的方法。首先，选择一个或多个LLM作为研究对象。然后，针对特定的任务或数据集，设计不同的基准测试标准和提示策略。接下来，使用不同的提示策略对LLM进行测试，并使用不同的基准测试标准评估其性能。最后，分析实验结果，找出不同因素对LLM性能的影响规律。

关键创新：该研究的关键创新在于强调了提示工程的复杂性和情境依赖性。它挑战了“一刀切”的基准测试方法和提示策略，指出不存在普遍适用的最优方案。相反，研究强调，基准测试标准的选取和提示策略的设计必须根据具体的任务和目标进行调整。

关键设计：研究的关键设计在于对提示策略的细致控制。例如，研究者会对比使用礼貌用语和不使用礼貌用语的提示，或者对比对答案进行约束和不进行约束的提示。通过这种对比，研究者可以量化不同提示策略对LLM性能的影响。具体的参数设置和损失函数等技术细节取决于所使用的LLM和任务，报告中未详细说明。

📊 实验亮点

研究发现，基准测试标准的选择对LLM的性能评估结果有显著影响，不同的标准可能导致对同一模型性能的不同结论。此外，提示策略（如礼貌用语、约束回答）的效果具有情境依赖性，有时能提升性能，有时反而会降低性能。这些结果表明，不存在普遍适用的最优提示方法。

🎯 应用场景

该研究成果可应用于指导LLM的基准测试和提示工程实践。开发者可以根据具体应用场景选择合适的基准测试标准，并针对性地设计提示策略，从而优化LLM的性能。此外，该研究也提醒用户在使用LLM时，需要谨慎对待提示工程，避免盲目套用所谓的“最佳实践”。

📄 摘要（原文）

This is the first of a series of short reports that seek to help business, education, and policy leaders understand the technical details of working with AI through rigorous testing. In this report, we demonstrate two things: - There is no single standard for measuring whether a Large Language Model (LLM) passes a benchmark, and that choosing a standard has a big impact on how well the LLM does on that benchmark. The standard you choose will depend on your goals for using an LLM in a particular case. - It is hard to know in advance whether a particular prompting approach will help or harm the LLM's ability to answer any particular question. Specifically, we find that sometimes being polite to the LLM helps performance, and sometimes it lowers performance. We also find that constraining the AI's answers helps performance in some cases, though it may lower performance in other cases. Taken together, this suggests that benchmarking AI performance is not one-size-fits-all, and also that particular prompting formulas or approaches, like being polite to the AI, are not universally valuable.