Diver: Large Language Model Decoding with Span-Level Mutual Information Verification

📄 arXiv: 2406.02120v1 📥 PDF

作者: Jinliang Lu, Chen Wang, Jiajun Zhang

分类: cs.CL

发布日期: 2024-06-04

💡 一句话要点

Diver：提出基于跨度互信息验证的大语言模型解码方法，提升输出与输入的符合度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 解码策略 互信息 文本生成 自然语言处理

📋 核心要点

  1. 现有大语言模型解码策略易偏离输入，导致输出结果不符合预期。
  2. Diver通过计算候选跨度的互信息，衡量输出与输入的关联性，选择最优跨度。
  3. 实验表明，Diver在多个下游任务上显著优于现有解码方法，提升了性能和通用性。

📝 摘要（中文）

大型语言模型（LLMs）在提供特定任务指令后，展现出了适应各种任务的强大能力。然而，使用标准解码策略的LLMs常常难以避免偏离输入的情况。直观地说，符合要求的LLM输出应该反映输入中存在的信息，这可以通过逐点互信息（PMI）得分来衡量。因此，我们提出Diver，一种通过跨度级别PMI验证来增强LLM解码的新方法。在推理过程中，Diver首先识别可能导致多个候选跨度的发散步骤。随后，它通过评估如果生成候选跨度时输入对数似然的增益来计算PMI得分。最后，基于PMI重新排序的输出分布选择最佳跨度。我们在各种下游任务上评估了我们的方法，实验结果表明，Diver在性能和通用性方面均显著优于现有的解码方法。

🔬 方法详解

问题定义：大语言模型在解码过程中，容易产生与输入信息不一致的输出，即出现“发散”现象。现有的解码策略，如贪婪搜索、束搜索等，无法有效保证输出结果与输入信息的关联性，导致模型在某些任务上表现不佳。

核心思路：论文的核心思路是利用互信息（PMI）来衡量候选输出跨度与输入信息的相关程度。如果一个候选跨度与输入信息高度相关，那么生成该跨度后，输入信息的对数似然增益应该较高。通过计算并比较不同候选跨度的PMI得分，可以选择与输入信息最相关的跨度，从而减少发散现象。

技术框架：Diver的整体框架包含以下几个主要步骤：1) 发散步骤识别：在解码过程中，识别可能导致多个候选跨度的步骤。2) 候选跨度生成：针对每个发散步骤，生成多个候选的文本跨度。3) PMI计算：计算每个候选跨度与输入信息之间的PMI得分。具体而言，通过计算生成该跨度后输入信息对数似然的增益来评估。4) 跨度选择：基于PMI得分对候选跨度进行重新排序，并选择得分最高的跨度作为最终输出。

关键创新：Diver的关键创新在于将互信息（PMI）的概念引入到大语言模型的解码过程中，并将其应用于跨度级别的选择。与传统的解码方法不同，Diver不仅仅关注输出的概率，更关注输出与输入信息的相关性，从而能够生成更符合输入信息的输出结果。

关键设计：Diver的关键设计包括：1) PMI计算方式：论文采用对数似然增益来近似计算PMI得分，这是一种高效且可行的计算方法。2) 发散步骤识别策略：论文可能采用一定的阈值或规则来判断哪些步骤可能导致发散，从而避免对所有步骤都进行PMI计算，提高效率。3) 候选跨度生成策略：论文可能采用束搜索等方法生成多个候选跨度，并对候选跨度的数量进行限制，以控制计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Diver在多个下游任务上显著优于现有的解码方法。具体性能提升数据在论文中给出，Diver通过引入跨度级别的互信息验证，有效提升了生成文本与输入信息的关联性，从而在性能和通用性方面都取得了显著的进步。Diver的性能提升证明了其在解决大语言模型解码发散问题上的有效性。

🎯 应用场景

Diver可应用于各种需要大语言模型生成与输入高度相关的文本的场景，例如：文本摘要、机器翻译、问答系统等。通过减少模型输出的发散现象，提高生成文本的质量和可靠性，从而提升用户体验和应用效果。未来，该方法有望进一步扩展到其他生成任务，并与其他解码策略相结合，实现更强大的文本生成能力。

📄 摘要（原文）

Large language models (LLMs) have shown impressive capabilities in adapting to various tasks when provided with task-specific instructions. However, LLMs using standard decoding strategies often struggle with deviations from the inputs. Intuitively, compliant LLM outputs should reflect the information present in the input, which can be measured by point-wise mutual information (PMI) scores. Therefore, we propose Diver, a novel approach that enhances LLM Decoding through span-level PMI verification. During inference, Diver first identifies divergence steps that may lead to multiple candidate spans. Subsequently, it calculates the PMI scores by assessing the log-likelihood gains of the input if the candidate spans are generated. Finally, the optimal span is selected based on the PMI re-ranked output distributions. We evaluate our method across various downstream tasks, and empirical results demonstrate that Diver significantly outperforms existing decoding methods in both performance and versatility.