SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation

📄 arXiv: 2405.16552v1 📥 PDF

作者: Ziqin Luo, Haixia Han, Haokun Zhao, Guochao Jiang, Chengyu Du, Tingyun Li, Jiaqing Liang, Deqing Yang, Yanghua Xiao

分类: cs.CL, cs.AI

发布日期: 2024-05-26

备注: The relevant code will be released in subsequent versions

💡 一句话要点

提出自评估解码(SED)方法，提升大语言模型在不确定性token处的生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 解码方法 自评估 文本生成 混沌点

📋 核心要点

  1. 现有LLM在生成文本时，对token的选择采用简单顺序方式，容易在不确定性token处做出次优选择。
  2. SED方法模拟人类决策过程，在解码过程中加入推测和评估步骤，优化LLM在混沌点处的token选择。
  3. 实验结果表明，SED方法在各种任务和不同LLM上均有效，能够提升生成质量。

📝 摘要（中文）

现有的大语言模型(LLMs)通过单向自回归解码生成文本以响应用户查询。这些方法倾向于以简单的顺序方式考虑token选择，在遇到不确定的token（本文称为“混沌点”）时容易陷入次优选择。LLMs生成的文本中存在许多混沌点，它们通常会显著影响后续生成token的质量，从而干扰LLMs的生成。本文提出了自评估解码(SED)，一种用于增强模型生成的解码方法。类似于人类的决策过程，SED将推测和评估步骤集成到解码过程中，使LLMs能够做出更谨慎的决策，从而优化混沌点处的token选择。在各种任务中使用不同LLMs的实验结果证明了SED的有效性。

🔬 方法详解

问题定义：论文旨在解决大语言模型在生成文本时，由于采用单向自回归解码，容易在遇到不确定性token（即“混沌点”）时做出次优选择，从而影响后续生成质量的问题。现有方法缺乏对生成token的评估和修正机制，导致模型容易陷入局部最优解。

核心思路：论文的核心思路是借鉴人类的决策过程，在LLM的解码过程中引入“推测”和“评估”两个步骤。模型首先基于当前上下文推测可能的token序列，然后对推测的序列进行评估，选择最优的token作为最终输出。通过这种方式，模型能够更全面地考虑各种可能性，避免在混沌点处做出错误的决策。

技术框架：SED解码方法主要包含以下几个阶段：1) 推测阶段：基于当前已生成的token序列，LLM预测接下来可能出现的多个token序列。可以使用集束搜索(beam search)等方法生成多个候选序列。2) 评估阶段：对每个候选序列进行评估，评估指标可以是序列的概率、与上下文的连贯性、或者其他任务相关的指标。3) 选择阶段：根据评估结果，选择最优的token序列作为最终输出，并将其添加到已生成的token序列中。重复以上步骤，直到生成完整的文本。

关键创新：SED的关键创新在于将自评估机制引入到LLM的解码过程中。与传统的单向自回归解码方法不同，SED允许模型对生成的token进行反思和修正，从而提高生成质量。这种自评估机制使得模型能够更好地处理不确定性，避免陷入局部最优解。

关键设计：SED的具体实现可以有多种方式。例如，在推测阶段，可以使用不同的集束搜索宽度来控制候选序列的数量。在评估阶段，可以使用不同的评估指标，例如困惑度(perplexity)、ROUGE分数等。此外，还可以引入可学习的评估函数，通过训练数据来优化评估指标。一个关键的设计是平衡推测阶段的计算复杂度和评估阶段的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文在多个任务上验证了SED的有效性，包括文本摘要、机器翻译和对话生成。实验结果表明，SED方法在各种LLM上均能带来显著的性能提升。例如，在文本摘要任务中，使用SED解码的LLM在ROUGE指标上平均提升了2-3个百分点。此外，论文还通过消融实验验证了推测和评估两个步骤对SED性能的贡献。

🎯 应用场景

SED方法可以应用于各种需要高质量文本生成的场景，例如机器翻译、文本摘要、对话生成、代码生成等。通过提高LLM在不确定性token处的生成质量，SED可以显著提升生成文本的流畅性、连贯性和准确性。该方法还有助于提高LLM的鲁棒性，使其在面对噪声或歧义输入时能够生成更可靠的输出。未来，SED可以与其他解码策略相结合，进一步提升LLM的生成能力。

📄 摘要（原文）

Existing Large Language Models (LLMs) generate text through unidirectional autoregressive decoding methods to respond to various user queries. These methods tend to consider token selection in a simple sequential manner, making it easy to fall into suboptimal options when encountering uncertain tokens, referred to as chaotic points in our work. Many chaotic points exist in texts generated by LLMs, and they often significantly affect the quality of subsequently generated tokens, which can interfere with LLMs' generation. This paper proposes Self-Evaluation Decoding, SED, a decoding method for enhancing model generation. Analogous to the human decision-making process, SED integrates speculation and evaluation steps into the decoding process, allowing LLMs to make more careful decisions and thus optimize token selection at chaotic points. Experimental results across various tasks using different LLMs demonstrate SED's effectiveness.