P3: Prompts Promote Prompting
作者: Xinyu Zhang, Yuanquan Hu, Fangchao Liu, Zhicheng Dou
分类: cs.CL
发布日期: 2025-07-21
备注: Accepted to ACL 2025 findings
💡 一句话要点
P3：通过迭代优化系统和用户提示，提升大语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 提示工程 自动提示优化 系统提示 用户提示
📋 核心要点
- 现有方法仅优化系统或用户提示之一，忽略了二者之间的相互依赖性，导致优化效果受限。
- P3框架通过迭代优化系统和用户提示，实现二者的协同优化，提升整体性能。
- 实验表明，P3在通用和推理任务上均优于现有自动提示优化方法，证明了其有效性。
📝 摘要（中文）
当前的大语言模型（LLM）应用通常采用多组件提示，包括系统提示和用户提示，以引导模型的行为。虽然最近的研究表明，自动优化系统提示或用户提示可以提高性能，但由于这些组件的相互依赖性，这种单方面的优化方法往往会产生次优的结果。本文介绍了一种新颖的自改进框架P3，该框架通过迭代过程同时优化系统提示和用户提示。离线优化的提示进一步用于通过执行依赖于查询的提示优化来促进在线提示。在通用任务（例如，Arena-hard和Alpaca-eval）和推理任务（例如，GSM8K和GPQA）上的大量实验表明，P3在自动提示优化领域实现了卓越的性能。我们的结果突出了整体优化策略在增强LLM在不同领域的性能方面的有效性。
🔬 方法详解
问题定义：现有的大语言模型应用依赖于精心设计的提示工程，包括系统提示和用户提示。然而，手动设计提示既耗时又需要专业知识。虽然已经有一些自动提示优化的方法，但它们通常只关注优化系统提示或用户提示中的一个，忽略了两者之间的相互依赖关系，导致优化效果不佳。因此，如何同时优化系统提示和用户提示，以充分发挥大语言模型的潜力，是一个亟待解决的问题。
核心思路：P3的核心思路是通过迭代的方式，交替优化系统提示和用户提示，从而实现二者的协同优化。具体来说，P3首先使用一个初始的系统提示和用户提示来生成模型的输出。然后，P3根据模型的输出，自动生成新的系统提示，旨在更好地引导模型生成期望的输出。接着，P3使用新的系统提示和原始的用户提示，再次生成模型的输出，并根据新的输出，自动生成新的用户提示，旨在更好地适应新的系统提示。这个过程不断迭代，直到系统提示和用户提示都达到最优状态。
技术框架：P3框架主要包含两个阶段：离线提示优化和在线提示优化。在离线提示优化阶段，P3使用一个训练数据集，通过迭代的方式，同时优化系统提示和用户提示。在在线提示优化阶段，P3根据输入的查询，对离线优化的提示进行进一步的优化，以更好地适应当前的查询。整个框架可以看作是一个自学习、自适应的提示优化系统。
关键创新：P3最重要的技术创新点在于其同时优化系统提示和用户提示的迭代优化策略。与现有方法只优化其中一个提示相比，P3能够更好地捕捉系统提示和用户提示之间的相互依赖关系，从而实现更有效的提示优化。此外，P3还引入了在线提示优化阶段，能够根据输入的查询，对提示进行自适应的调整，进一步提升了模型的性能。
关键设计：P3的关键设计包括：1) 使用强化学习来自动生成新的系统提示和用户提示。具体来说，P3将提示生成过程建模为一个序列生成问题，并使用策略梯度算法来训练一个提示生成模型。2) 使用奖励函数来评估生成的提示的质量。奖励函数综合考虑了模型的输出的准确性、流畅性和一致性等因素。3) 在线提示优化阶段，P3使用一个小的验证集来选择最优的提示。4) 迭代优化过程中，需要设置合适的迭代次数和学习率等超参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，P3在Arena-hard和Alpaca-eval等通用任务以及GSM8K和GPQA等推理任务上均取得了显著的性能提升。例如，在GSM8K数据集上，P3的准确率比基线方法提高了超过5%。这些结果证明了P3框架在自动提示优化方面的有效性。
🎯 应用场景
P3框架可广泛应用于各种需要提示工程的大语言模型应用场景，例如问答系统、文本生成、代码生成等。通过自动优化提示，P3可以显著提升大语言模型的性能，降低人工成本，并提高用户体验。未来，P3还可以扩展到多模态提示优化，例如同时优化文本提示和图像提示，以进一步提升多模态大语言模型的性能。
📄 摘要（原文）
Current large language model (LLM) applications often employ multi-component prompts, comprising both system and user prompts, to guide model behaviors. While recent advancements have demonstrated the efficacy of automatically optimizing either the system or user prompt to boost performance, such unilateral approaches often yield suboptimal outcomes due to the interdependent nature of these components. In this work, we introduce P3, a novel self-improvement framework that concurrently optimizes both system and user prompts through an iterative process. The offline optimized prompts are further leveraged to promote online prompting by performing query-dependent prompt optimization. Extensive experiments on general tasks (e.g., Arena-hard and Alpaca-eval) and reasoning tasks (e.g., GSM8K and GPQA) demonstrate that P3 achieves superior performance in the realm of automatic prompt optimization. Our results highlight the effectiveness of a holistic optimization strategy in enhancing LLM performance across diverse domains.