Evolutionary Pre-Prompt Optimization for Mathematical Reasoning

📄 arXiv: 2412.04291v1 📥 PDF

作者: Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud

分类: cs.CL

发布日期: 2024-12-05

💡 一句话要点

提出EPPO：利用进化算法优化数学推理的预提示，显著提升LLM性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 思维链 预提示优化 进化算法 数学推理

📋 核心要点

  1. 大型语言模型在少量任务特定示例的引导下，展现出卓越的推理能力，但如何选择最佳示例仍然是一个挑战。
  2. 论文提出进化预提示优化（EPPO）方法，利用进化算法搜索最优的CoT预提示示例集合，提升模型推理能力。
  3. 实验结果表明，EPPO在GSM8k和MathQA等数据集上显著优于传统少样本学习方法，尤其在结合自洽性时效果更佳。

📝 摘要（中文）

本文探讨了如何优化大型语言模型（LLM）的示例选择，以设计有效的思维链（CoT）预提示。研究表明，优化算法的选择，特别是进化计算等基于比较的方法，能够显著提高LLM在复杂推理任务中的有效性和可行性。具体而言，通过有限的利用和过拟合优化，进化预提示优化（EPPO）在GSM8k和MathQA等基准数据集上的精确匹配得分超过了朴素的少样本方法10个绝对百分点。这些增益在各种上下文中保持一致，并且在与自洽性（SC）集成时得到进一步放大。

🔬 方法详解

问题定义：论文旨在解决如何为大型语言模型（LLM）选择最佳的思维链（CoT）预提示示例，以提高其在数学推理任务中的性能。现有方法，如随机选择或人工设计示例，往往无法充分利用LLM的潜力，导致推理结果不一致或准确率较低。这些方法缺乏系统性的优化策略，难以找到最能引导模型进行正确推理的示例组合。

核心思路：论文的核心思路是利用进化算法自动搜索最优的预提示示例集合。通过将预提示示例的选择视为一个优化问题，并使用进化算法进行求解，可以找到一组能够最大化LLM在特定任务上的性能的示例。这种方法能够克服人工设计的局限性，并充分利用LLM的学习能力。

技术框架：EPPO的整体框架包括以下几个主要步骤：1) 初始化：随机生成一组预提示示例集合作为初始种群。2) 评估：使用LLM评估每个预提示示例集合在目标任务上的性能（例如，精确匹配得分）。3) 选择：根据性能指标，选择优秀的预提示示例集合作为父代。4) 交叉和变异：对父代进行交叉和变异操作，生成新的预提示示例集合。5) 迭代：重复步骤2-4，直到达到预定的迭代次数或满足收敛条件。

关键创新：EPPO的关键创新在于将进化算法应用于预提示示例的选择，从而实现自动化的预提示优化。与传统方法相比，EPPO能够更有效地搜索最优的示例组合，并避免人工设计的偏见。此外，EPPO采用有限的利用和过拟合优化策略，以防止算法陷入局部最优解。

关键设计：EPPO的关键设计包括：1) 适应度函数：使用LLM在目标任务上的性能指标（例如，精确匹配得分）作为适应度函数，用于评估预提示示例集合的质量。2) 进化算子：采用交叉和变异等进化算子，用于生成新的预提示示例集合。3) 种群大小和迭代次数：根据计算资源和任务复杂度，设置合适的种群大小和迭代次数。4) 示例选择策略：在生成预提示示例集合时，可以采用不同的示例选择策略，例如随机选择、基于相似度的选择等。

📊 实验亮点

实验结果表明，EPPO在GSM8k和MathQA等基准数据集上取得了显著的性能提升。具体而言，EPPO在这些数据集上的精确匹配得分超过了朴素的少样本方法10个绝对百分点。此外，当EPPO与自洽性（SC）方法集成时，性能得到了进一步提升，表明EPPO具有良好的泛化能力和可扩展性。

🎯 应用场景

该研究成果可广泛应用于需要复杂推理能力的自然语言处理任务中，例如数学问题求解、逻辑推理、代码生成等。通过自动优化预提示，可以显著提高LLM在这些任务中的性能，降低人工干预成本，并推动LLM在教育、科研和工业等领域的应用。

📄 摘要（原文）

Recent advancements have highlighted that large language models (LLMs), when given a small set of task-specific examples, demonstrate remarkable proficiency, a capability that extends to complex reasoning tasks. In particular, the combination of few-shot learning with the chain-of-thought (CoT) approach has been pivotal in steering models towards more logically consistent conclusions. This paper explores the optimization of example selection for designing effective CoT pre-prompts and shows that the choice of the optimization algorithm, typically in favor of comparison-based methods such as evolutionary computation, significantly enhances efficacy and feasibility. Specifically, thanks to a limited exploitative and overfitted optimization, Evolutionary Pre-Prompt Optimization (EPPO) brings an improvement over the naive few-shot approach exceeding 10 absolute points in exact match scores on benchmark datasets such as GSM8k and MathQA. These gains are consistent across various contexts and are further amplified when integrated with self-consistency (SC)