Diverse Prompts: Illuminating the Prompt Space of Large Language Models with MAP-Elites

📄 arXiv: 2504.14367v1 📥 PDF

作者: Gabriel Machado Santos, Rita Maria da Silva Julia, Marcelo Zanchetta do Nascimento

分类: cs.CL, cs.AI

发布日期: 2025-04-19

备注: 8 pages Accepted for publication in IEEE CEC 2025

💡 一句话要点

提出基于MAP-Elites的提示工程方法，提升大语言模型在多样化任务中的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示工程 大语言模型 MAP-Elites算法 上下文无关文法 进化算法

📋 核心要点

  1. 现有提示工程方法缺乏对提示结构与任务性能之间联系的深入探索，限制了大语言模型的优化。
  2. 该方法结合上下文无关文法和MAP-Elites算法，系统探索提示空间，兼顾提示质量和结构多样性。
  3. 实验表明，该方法生成的提示在多个任务和模型上表现良好，验证了质量与多样性结合的重要性。

📝 摘要（中文）

本文提出了一种进化方法，该方法结合了上下文无关文法（CFG）与MAP-Elites算法，以系统地探索大语言模型的提示空间。该方法优先考虑质量和多样性，生成高性能且结构多样的提示，并通过改变示例数量（shots）和推理深度等特征来分析它们与不同任务的对齐情况。通过系统地映射表型空间，揭示了结构变化如何影响大语言模型的性能，为特定任务和可适应的提示设计提供了可操作的见解。在多个大语言模型的七个BigBench Lite任务上进行评估，结果强调了质量和多样性的关键相互作用，从而提高了大语言模型的有效性和通用性。

🔬 方法详解

问题定义：论文旨在解决大语言模型提示工程中，提示结构与任务性能之间关系不明确的问题。现有方法难以系统性地探索提示空间，无法充分挖掘高质量且多样化的提示，导致大语言模型在不同任务上的性能受限。

核心思路：论文的核心思路是利用进化算法MAP-Elites，结合上下文无关文法（CFG）生成多样化的提示结构，并根据提示在特定任务上的性能进行选择和进化。通过这种方式，系统性地探索提示空间，找到既高质量又具有结构多样性的提示。

技术框架：整体框架包含以下几个主要阶段：1) 使用上下文无关文法（CFG）随机生成初始提示种群；2) 使用MAP-Elites算法对提示种群进行进化，根据提示在特定任务上的性能（例如准确率）进行选择，并根据提示的结构特征（例如示例数量、推理深度）进行分类；3) 迭代进化过程，直到达到预定的迭代次数或性能指标；4) 分析最终的提示种群，揭示提示结构与任务性能之间的关系。

关键创新：最重要的技术创新点在于将MAP-Elites算法应用于提示工程，从而能够同时优化提示的质量和多样性。与传统的提示工程方法相比，该方法能够更全面地探索提示空间，找到更优的提示结构。此外，通过分析提示结构与任务性能之间的关系，为提示工程提供了更深入的理论指导。

关键设计：关键设计包括：1) 上下文无关文法的定义，用于控制提示的结构和语法；2) MAP-Elites算法的适应度函数，用于评估提示的性能；3) 用于描述提示结构特征的行为描述符，例如示例数量、推理深度等；4) 进化过程中的选择、交叉和变异算子，用于生成新的提示。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在七个BigBench Lite任务上，能够生成高性能且结构多样的提示。通过对比不同提示结构在不同任务上的性能，揭示了提示结构与任务性能之间的关系。例如，对于某些任务，增加示例数量可以显著提升性能，而对于另一些任务，则需要更深层次的推理。

🎯 应用场景

该研究成果可应用于各种需要利用大语言模型的场景，例如智能客服、文本生成、机器翻译等。通过自动生成高质量且多样化的提示，可以显著提升大语言模型在这些场景中的性能和用户体验。此外，该研究还可以为提示工程提供理论指导，帮助研究人员和工程师更好地设计和优化提示。

📄 摘要（原文）

Prompt engineering is essential for optimizing large language models (LLMs), yet the link between prompt structures and task performance remains underexplored. This work introduces an evolutionary approach that combines context-free grammar (CFG) with the MAP-Elites algorithm to systematically explore the prompt space. Our method prioritizes quality and diversity, generating high-performing and structurally varied prompts while analyzing their alignment with diverse tasks by varying traits such as the number of examples (shots) and reasoning depth. By systematically mapping the phenotypic space, we reveal how structural variations influence LLM performance, offering actionable insights for task-specific and adaptable prompt design. Evaluated on seven BigBench Lite tasks across multiple LLMs, our results underscore the critical interplay of quality and diversity, advancing the effectiveness and versatility of LLMs.