PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars

📄 arXiv: 2408.08869v2 📥 PDF

作者: Sumanth Prabhu

分类: cs.CL, cs.LG

发布日期: 2024-08-16 (更新: 2024-08-19)

💡 一句话要点

PEDAL：利用多样化范例增强大语言模型贪婪解码，提升文本生成性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 文本生成 自集成 提示工程 多样性 LLM聚合 贪婪解码 范例学习

📋 核心要点

  1. 自集成方法依赖于准确的答案提取，且推理成本高于贪婪解码，限制了其应用。
  2. PEDAL利用多样化范例提示和LLM聚合，旨在提升文本生成性能，降低推理成本。
  3. 实验表明，PEDAL在SVAMP和ARC数据集上优于贪婪解码，且推理成本低于自一致性方法。

📝 摘要（中文）

本文提出了一种混合自集成方法PEDAL（Prompts based on Exemplar Diversity Aggregated using LLMs），它结合了基于多样化范例的提示和基于LLM的聚合，以提高整体性能。自一致性等具有多样化推理路径的自集成技术已在大语言模型（LLM）的文本生成中表现出显著的性能提升。然而，这些技术依赖于精确的答案提取过程来聚合多个输出，并且由于生成相对较多的输出token，因此与贪婪解码相比，推理成本更高。研究表明，可以使用LLM可靠地聚合来自自一致性的自由形式文本输出，以生成最终输出。此外，LLM推理的最新进展表明，在提示中使用多样化的范例能够诱导LLM输出的多样性。这些经过验证的技术可以轻松扩展到基于自集成的方法，以在文本生成中获得增强的结果。在公开的SVAMP和ARC数据集上，实验表明，与基于自一致性的方法相比，PEDAL可以实现比基于贪婪解码的策略更好的准确性，并且推理成本更低。

🔬 方法详解

问题定义：现有自集成方法，如Self-Consistency，虽然能提升LLM文本生成性能，但依赖于精确的答案提取过程，且由于需要生成多个输出，推理成本较高。贪婪解码虽然效率高，但生成质量受限。因此，如何兼顾生成质量和推理效率是一个挑战。

核心思路：PEDAL的核心思路是结合多样化范例提示（diverse exemplar based prompts）和LLM聚合，利用多样化范例诱导LLM生成更多样化的输出，然后使用LLM自身来聚合这些输出，从而在保证生成质量的同时，降低推理成本。

技术框架：PEDAL主要包含两个阶段：1) 多样化范例提示生成阶段：根据输入问题，构建包含多个多样化范例的提示。这些范例旨在引导LLM产生不同的推理路径和答案。2) LLM聚合阶段：将LLM生成的多个输出（基于不同的范例提示）输入到另一个LLM中，由该LLM负责聚合这些输出，生成最终的答案。

关键创新：PEDAL的关键创新在于将多样化范例提示和LLM聚合相结合，无需显式的答案提取过程，而是利用LLM自身的能力来完成聚合。这降低了对答案提取模块的依赖，并简化了整个流程。此外，通过多样化范例提示，PEDAL能够有效地探索LLM的潜在能力，生成更多样化的输出。

关键设计：关于范例的选择，论文可能采用了某种策略来确保范例的多样性，例如基于语义相似度或推理路径差异性。用于聚合的LLM的选择也很重要，需要选择具有较强推理和聚合能力的LLM。具体的提示工程（prompt engineering）也至关重要，需要设计合适的提示语来引导LLM生成高质量的输出。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，PEDAL在SVAMP和ARC数据集上取得了比贪婪解码更好的准确率，同时推理成本低于自一致性方法。具体来说，PEDAL在SVAMP数据集上达到了X%的准确率，在ARC数据集上达到了Y%的准确率（具体数值未知）。这些结果证明了PEDAL在提升LLM文本生成性能方面的有效性。

🎯 应用场景

PEDAL可应用于各种文本生成任务，例如问答系统、机器翻译、文本摘要等。它尤其适用于对生成质量和推理效率都有较高要求的场景。通过结合多样化范例提示和LLM聚合，PEDAL能够提升LLM在这些任务中的性能，并降低部署成本，具有广泛的应用前景。

📄 摘要（原文）

Self-ensembling techniques with diverse reasoning paths such as Self-Consistency have demonstrated remarkable performance gains in text generation with Large Language Models (LLMs). However, such techniques depend on the availability of an accurate answer extraction process to aggregate across multiple outputs. Moreover, they acquire higher inference cost, in comparison to Greedy Decoding, due to generation of relatively higher number of output tokens. Research has shown that the free form text outputs from Self-Consistency can be aggregated reliably using LLMs to produce the final output. Additionally, recent advancements in LLM inference have demonstrated that usage of diverse exemplars in prompts have the ability to induce diversity in the LLM outputs. Such proven techniques can be easily extended to self-ensembling based approaches to achieve enhanced results in text generation. In this paper, we introduce PEDAL (Prompts based on Exemplar Diversity Aggregated using LLMs), a hybrid self-ensembling approach, that combines the strengths of diverse exemplar based prompts and LLM based aggregation to achieve improvement in overall performance. On the publicly available SVAMP and ARC datasets, our experiments reveal that PEDAL can achieve better accuracy than Greedy Decoding based strategies with lower inference cost compared to Self Consistency based approaches.