Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization

📄 arXiv: 2406.15708v2 📥 PDF

作者: Xingchen Wan, Ruoxi Sun, Hootan Nakhost, Sercan O. Arik

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-06-22 (更新: 2024-11-06)

备注: Expanded version of the NeurIPS 2024 paper

💡 一句话要点

对比指令优化与范例优化，揭示范例重用在自动Prompt优化中的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动Prompt优化 指令优化 范例优化 大型语言模型 Prompt工程

📋 核心要点

  1. 现有自动Prompt优化方法中，指令优化(IO)和范例优化(EO)发展相对独立，缺乏全面对比研究。
  2. 论文核心思想是智能重用模型生成的输入-输出对作为范例，并探索EO与IO的协同作用。
  3. 实验表明，重用范例能显著提升IO性能，且简单的EO策略优于先进的IO方法，EO与IO结合效果更佳。

📝 摘要（中文）

大型语言模型的能力很大程度上依赖于有效的Prompt工程。自动Prompt优化(APO)旨在自动化这一过程，主要分为指令优化(IO)和范例优化(EO)两类。尽管目标相同，但它们的发展相对独立，IO最近受到更多关注。本文旨在通过在各种具有挑战性的任务上，孤立地和组合地比较代表性的IO和EO技术的性能来弥合这一差距。研究结果表明，智能地重用从验证集上评估Prompt得到的模型生成的输入-输出对作为范例，始终可以提高IO方法的性能，但目前这方面研究不足。我们还发现，尽管最近关注IO，但范例的选择可能比指令的优化更重要，即使是像随机搜索这样简单的EO策略，在没有优化的种子指令下，也能胜过最先进的IO方法。此外，我们观察到EO和IO之间的协同作用，最佳组合超过了各自的贡献。我们得出结论，研究范例优化，无论是作为一种独立的方法，还是与指令优化的最佳组合，仍然是APO的一个关键方面，即使在具有高度指令遵循能力的模型时代，也值得在未来的研究中给予更多考虑。

🔬 方法详解

问题定义：论文旨在解决自动Prompt优化(APO)中指令优化(IO)和范例优化(EO)发展不平衡的问题。现有方法要么侧重于优化指令，要么侧重于选择范例，缺乏对两者之间关系的深入研究，以及如何有效结合两者的策略。此外，如何利用模型自身生成的数据来提升Prompt性能也是一个待解决的问题。

核心思路：论文的核心思路是探索并利用模型在验证集上评估Prompt时生成的输入-输出对，将其作为范例进行重用，从而提升Prompt的性能。同时，论文还研究了IO和EO的协同作用，旨在找到最佳的组合方式，以实现更好的APO效果。这种思路的优势在于能够充分利用模型自身的能力，通过数据驱动的方式来优化Prompt。

技术框架：论文的技术框架主要包括以下几个阶段：1) 使用不同的IO方法优化指令；2) 使用不同的EO方法选择范例，其中范例来源于模型在验证集上的生成结果；3) 将优化后的指令和选择的范例组合成新的Prompt；4) 在测试集上评估Prompt的性能；5) 分析IO和EO的单独效果以及组合效果。

关键创新：论文最重要的技术创新点在于发现了智能重用模型生成的输入-输出对作为范例，可以显著提升IO方法的性能。此外，论文还揭示了EO的重要性，即使是简单的EO策略也能超越先进的IO方法。EO和IO之间的协同作用也是一个重要的发现，为未来的APO研究提供了新的方向。

关键设计：论文的关键设计包括：1) 采用多种具有代表性的IO和EO方法进行对比实验；2) 使用不同的任务和数据集来评估方法的泛化能力；3) 设计了不同的组合策略来探索IO和EO的协同作用；4) 详细分析了实验结果，揭示了EO的重要性以及EO和IO之间的关系。

📊 实验亮点

实验结果表明，智能重用模型生成的输入-输出对作为范例，始终可以提高IO方法的性能。即使是像随机搜索这样简单的EO策略，在没有优化的种子指令下，也能胜过最先进的IO方法。最佳的EO和IO组合策略能够超越各自单独的贡献，实现更优的性能。例如，在某些任务上，结合EO和IO的方法相比于单独使用IO方法，性能提升了超过10%。

🎯 应用场景

该研究成果可应用于各种需要Prompt工程的大型语言模型应用场景，例如文本生成、机器翻译、问答系统等。通过自动优化Prompt，可以显著提升模型的性能和效率，降低人工Prompt工程的成本。未来，该研究有望推动自动Prompt优化技术的发展，使得大型语言模型能够更好地服务于各行各业。

📄 摘要（原文）

Large language models have demonstrated remarkable capabilities, but their performance is heavily reliant on effective prompt engineering. Automatic prompt optimization (APO) methods are designed to automate this and can be broadly categorized into those targeting instructions (instruction optimization, IO) vs. those targeting exemplars (exemplar optimization, EO). Despite their shared objective, these have evolved rather independently, with IO receiving more research attention recently. This paper seeks to bridge this gap by comprehensively comparing the performance of representative IO and EO techniques both isolation and combination on a diverse set of challenging tasks. Our findings reveal that intelligently reusing model-generated input-output pairs obtained from evaluating prompts on the validation set as exemplars, consistently improves performance on top of IO methods but is currently under-investigated. We also find that despite the recent focus on IO, how we select exemplars can outweigh how we optimize instructions, with EO strategies as simple as random search outperforming state-of-the-art IO methods with seed instructions without any optimization. Moreover, we observe a synergy between EO and IO, with optimal combinations surpassing the individual contributions. We conclude that studying exemplar optimization both as a standalone method and its optimal combination with instruction optimization remain a crucial aspect of APO and deserve greater consideration in future research, even in the era of highly capable instruction-following models.