Language Models can Evaluate Themselves via Probability Discrepancy

📄 arXiv: 2405.10516v2 📥 PDF

作者: Tingyu Xia, Bowen Yu, Yuan Wu, Yi Chang, Chang Zhou

分类: cs.CL, cs.AI

发布日期: 2024-05-17 (更新: 2024-07-09)

备注: ACL 2024 Findings

💡 一句话要点

提出ProbDiff，利用LLM自身概率差异进行自评估，无需外部模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 自评估 概率差异 自然语言生成 模型性能评估

📋 核心要点

  1. 现有LLM评估方法依赖外部模型（如GPT-4），成本高昂且可能引入偏见。
  2. ProbDiff利用LLM自身生成答案的概率分布差异进行自评估，无需外部参考。
  3. 实验表明，ProbDiff在多个任务和基准上与GPT-4评估结果相当，具有广泛适用性。

📝 摘要（中文）

本文提出了一种新的自评估方法ProbDiff，用于评估大型语言模型（LLM）的性能。该方法基于一个观察：更优秀的LLM在回答问题时，其答案的概率分布更加均匀。ProbDiff通过计算LLM初始响应与其修订版本之间的概率差异来评估其能力。差异越大，表明LLM的能力相对较弱。该方法无需额外的评估模型或依赖GPT-4等外部专有模型。实验结果表明，ProbDiff在自然语言生成（NLG）任务（如翻译、摘要和提出的Xiaohongshu博客写作任务）以及LLM评估基准（如AlignBench、MT-Bench和AlpacaEval）上，取得了与基于GPT-4的评估相当的结果，适用于不同规模的LLM。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）评估方法通常依赖于外部评估模型，例如GPT-4。这种方法存在几个痛点：一是成本高昂，使用GPT-4等专有模型需要付费；二是可能引入偏见，外部评估模型的偏见会影响LLM的评估结果；三是评估效率较低，需要多次调用外部模型进行评估。因此，需要一种更经济、更高效、更客观的LLM自评估方法。

核心思路：ProbDiff的核心思路是：一个能力更强的LLM在回答问题时，其答案的概率分布会更加均匀。换句话说，如果一个LLM对自己的答案更有信心，那么它在生成答案时，各个token的概率分布会更加接近。反之，如果一个LLM对自己的答案不太确定，那么它在生成答案时，某些token的概率会明显高于其他token。因此，可以通过计算LLM生成答案的概率分布的差异来评估其能力。

技术框架：ProbDiff的整体流程如下：1. 给定一个问题，让待评估的LLM生成一个初始答案。2. 对初始答案进行修订，得到修订后的答案。修订方法可以是多种多样的，例如，可以对初始答案进行同义词替换、语句重组等。3. 计算初始答案和修订后答案的概率分布。4. 计算初始答案和修订后答案的概率分布之间的差异，得到概率差异值ProbDiff。概率差异值越大，表明LLM的能力越弱。

关键创新：ProbDiff最重要的技术创新点在于，它利用LLM自身生成答案的概率分布差异来进行自评估，而无需依赖外部评估模型。这与传统的LLM评估方法有本质的区别。传统的LLM评估方法通常需要一个外部评估模型来对LLM生成的答案进行评分，而ProbDiff则直接利用LLM自身的信息来进行评估。

关键设计：ProbDiff的关键设计包括：1. 如何选择合适的修订方法。修订方法需要能够有效地改变LLM生成答案的概率分布，但又不能改变答案的语义。2. 如何计算初始答案和修订后答案的概率分布之间的差异。可以使用多种概率分布差异度量方法，例如KL散度、JS散度等。3. 如何确定概率差异值的阈值。需要根据具体的任务和LLM来确定一个合适的阈值，用于判断LLM的能力强弱。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ProbDiff在自然语言生成任务（如翻译、摘要和Xiaohongshu博客写作）以及LLM评估基准（如AlignBench、MT-Bench和AlpacaEval）上，取得了与基于GPT-4的评估相当的结果。这表明ProbDiff是一种有效的LLM自评估方法，可以替代昂贵且可能存在偏见的外部评估模型。

🎯 应用场景

ProbDiff可广泛应用于LLM的开发、测试和部署过程中。例如，可以用于快速评估不同LLM的性能，选择合适的LLM用于特定任务；可以用于监控LLM的性能变化，及时发现和解决问题；还可以用于优化LLM的训练过程，提高LLM的性能。此外，该方法还可以应用于其他生成式模型的评估。

📄 摘要（原文）

In this paper, we initiate our discussion by demonstrating how Large Language Models (LLMs), when tasked with responding to queries, display a more even probability distribution in their answers if they are more adept, as opposed to their less skilled counterparts. Expanding on this foundational insight, we propose a new self-evaluation method ProbDiff for assessing the efficacy of various LLMs. This approach obviates the necessity for an additional evaluation model or the dependence on external, proprietary models like GPT-4 for judgment. It uniquely utilizes the LLMs being tested to compute the probability discrepancy between the initial response and its revised versions. A higher discrepancy for a given query between two LLMs indicates a relatively weaker capability. Our findings reveal that ProbDiff achieves results on par with those obtained from evaluations based on GPT-4, spanning a range of scenarios that include natural language generation (NLG) tasks such as translation, summarization, and our proposed Xiaohongshu blog writing task, and benchmarks for LLM evaluation like AlignBench, MT-Bench, and AlpacaEval, across LLMs of varying magnitudes.