Evoke: Evoking Critical Thinking Abilities in LLMs via Reviewer-Author Prompt Editing

📄 arXiv: 2310.13855v1 📥 PDF

作者: Xinyu Hu, Pengfei Tang, Simiao Zuo, Zihan Wang, Bowen Song, Qiang Lou, Jian Jiao, Denis Charles

分类: cs.CL, cs.AI

发布日期: 2023-10-20

💡 一句话要点

提出Evoke框架以提升大语言模型的提示编辑能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提示优化 审阅者-作者机制 逻辑谬误检测 自然语言处理 自动化提示生成

📋 核心要点

  1. 现有的提示选择方法往往依赖于临时程序或随机搜索，未能有效利用大语言模型的潜力。
  2. Evoke框架通过引入审阅者-作者反馈循环，自动优化提示，确保每次迭代都能提升提示质量。
  3. 在逻辑谬误检测任务中，Evoke的得分超过80，而其他基线方法的得分普遍低于20，显示出显著的性能提升。

📝 摘要（中文）

大语言模型（LLMs）在自然语言处理领域取得了显著进展，但现有的提示方法未能充分发挥其潜力。许多人机协作算法采用临时的提示选择程序，而自动提示生成方法则是随机且低效地搜索所有可能的提示。为此，本文提出了Evoke，一个自动提示优化框架。Evoke中有两个相同的LLM实例：一个作为审阅者（LLM-Reviewer），对当前提示进行评分；另一个作为作者（LLM-Author），根据编辑历史和审阅者的反馈编辑提示。这样的反馈循环确保每次迭代中提示得到优化。此外，Evoke还聚合了一种数据选择方法，仅将难样本暴露给LLM，以帮助模型更深入地理解任务。实验结果表明，Evoke在逻辑谬误检测等挑战性任务中显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决大语言模型在提示生成中的低效性和随机性问题。现有方法往往未能充分利用模型的潜力，导致生成的提示质量不高。

核心思路：Evoke框架的核心思想是通过审阅者和作者的反馈循环，自动优化提示。审阅者对提示进行评分，作者根据反馈进行编辑，从而不断提升提示的质量。

技术框架：Evoke的整体架构包括两个主要模块：LLM-Reviewer和LLM-Author。LLM-Reviewer负责对当前提示进行评分，而LLM-Author则根据审阅者的反馈和编辑历史进行提示的修改。

关键创新：Evoke的创新之处在于引入了审阅者-作者反馈机制，使得提示优化过程更加系统化和高效。与现有方法相比，这种设计能够更好地利用模型的能力。

关键设计：在Evoke中，难样本的选择是一个关键设计，确保模型在训练过程中接触到更具挑战性的任务，从而提升其理解能力。具体的参数设置和损失函数设计尚未详细说明，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在逻辑谬误检测任务中，Evoke的得分超过80，显著高于其他基线方法的20以下，展示了其在处理复杂任务时的卓越性能。这一结果表明，Evoke能够有效提升大语言模型的提示生成能力。

🎯 应用场景

Evoke框架在自然语言处理的多个领域具有广泛的应用潜力，尤其是在需要高质量文本生成和理解的任务中，如逻辑推理、文本摘要和对话系统等。通过提升提示的质量，Evoke能够帮助大语言模型更好地理解复杂任务，从而在实际应用中产生更大的价值和影响。

📄 摘要（原文）

Large language models (LLMs) have made impressive progress in natural language processing. These models rely on proper human instructions (or prompts) to generate suitable responses. However, the potential of LLMs are not fully harnessed by commonly-used prompting methods: many human-in-the-loop algorithms employ ad-hoc procedures for prompt selection; while auto prompt generation approaches are essentially searching all possible prompts randomly and inefficiently. We propose Evoke, an automatic prompt refinement framework. In Evoke, there are two instances of a same LLM: one as a reviewer (LLM-Reviewer), it scores the current prompt; the other as an author (LLM-Author), it edits the prompt by considering the edit history and the reviewer's feedback. Such an author-reviewer feedback loop ensures that the prompt is refined in each iteration. We further aggregate a data selection approach to Evoke, where only the hard samples are exposed to the LLM. The hard samples are more important because the LLM can develop deeper understanding of the tasks out of them, while the model may already know how to solve the easier cases. Experimental results show that Evoke significantly outperforms existing methods. For instance, in the challenging task of logical fallacy detection, Evoke scores above 80, while all other baseline methods struggle to reach 20.