DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation

📄 arXiv: 2405.15329v3 📥 PDF

作者: Minzhi Li, Zhengyuan Liu, Shumin Deng, Shafiq Joty, Nancy F. Chen, Min-Yen Kan

分类: cs.CL

发布日期: 2024-05-24 (更新: 2024-12-08)

备注: COLING2025

💡 一句话要点

DnA-Eval：通过分解与聚合增强大型语言模型评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 元评估 分解与聚合 可解释性 教学实践

📋 核心要点

  1. 现有LLM评估方法通常采用单次prompting，缺乏对评估过程的深入理解和可解释性。
  2. DnA-Eval将评估过程分解为多个阶段，模拟教学实践，从而提供更细粒度的评估视角。
  3. 实验结果表明，DnA-Eval显著提升了LLM评估的准确性，最高提升幅度达到39.6%。

📝 摘要（中文）

大型语言模型（LLMs）研究的加速为评估生成文本开辟了新的可能性。LLMs可以作为可扩展且经济的评估器，但这些评估器的可靠性已成为一个关键的研究问题。以往将LLMs作为评判者的元评估研究，限制了LLM的prompting为单次使用，以获得最终的评估决策，然后计算LLM输出与人工标注之间的一致性。这种做法缺乏对LLM评估能力的理解的解释性。鉴于此挑战，我们提出了分解与聚合（Decompose and Aggregate），它基于教学实践将评估过程分解为不同的阶段。实验表明，它不仅为LLM的评估效果提供了一个更具解释性的窗口，而且在各种元评估基准测试中，不同LLM的性能提升高达39.6%。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）作为评估者时，评估过程缺乏可解释性的问题。现有方法通常直接使用LLM进行一次性评估，然后与人工标注进行比较，无法深入了解LLM评估的优势和不足之处。这种“黑盒”式的评估方式难以诊断LLM评估的偏差和错误来源。

核心思路：论文的核心思路是将LLM的评估过程分解为多个步骤，模拟人类教师的教学和评估过程。通过分解评估任务，可以更清晰地了解LLM在不同阶段的表现，从而提高评估的可解释性和准确性。这种分解的思想借鉴了教学实践中的分步教学和评估方法。

技术框架：DnA-Eval框架主要包含两个阶段：分解（Decompose）和聚合（Aggregate）。在分解阶段，将整体评估任务分解为多个子任务，例如，确定评估标准、分析生成文本的优点和缺点、给出初步评分等。每个子任务都由LLM完成，并记录LLM的输出。在聚合阶段，将LLM在各个子任务中的输出进行整合，最终得到一个综合的评估结果。聚合方法可以是简单的加权平均，也可以是更复杂的模型学习。

关键创新：DnA-Eval的关键创新在于将评估过程分解为多个可解释的步骤，从而提高了LLM评估的可解释性和准确性。与现有方法相比，DnA-Eval不仅可以给出最终的评估结果，还可以提供LLM评估过程的详细信息，例如，LLM在哪些方面表现良好，在哪些方面存在不足。这种细粒度的评估信息有助于诊断LLM评估的偏差和错误来源，并为改进LLM评估方法提供指导。

关键设计：DnA-Eval的关键设计包括如何分解评估任务、如何设计每个子任务的prompt、以及如何聚合各个子任务的输出。论文中，评估任务的分解是基于教学实践的，例如，将评估任务分解为确定评估标准、分析文本优点和缺点、给出初步评分等。每个子任务的prompt都经过精心设计，以引导LLM完成相应的任务。聚合方法可以是简单的加权平均，也可以是使用另一个LLM进行学习和聚合。具体的参数设置和损失函数等技术细节在论文中没有详细描述，可能需要参考相关的prompt工程和LLM微调文献。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DnA-Eval在多个元评估基准测试中显著提升了LLM评估的准确性。具体而言，DnA-Eval在不同LLM上的性能提升高达39.6%。这些结果表明，将评估过程分解为多个可解释的步骤可以有效提高LLM评估的性能。论文还分析了DnA-Eval在不同评估阶段的表现，发现DnA-Eval在分析文本优点和缺点方面表现尤为出色。

🎯 应用场景

DnA-Eval可应用于各种需要使用LLM进行文本评估的场景，例如机器翻译质量评估、文本摘要质量评估、代码生成质量评估等。该方法可以提高LLM评估的准确性和可解释性，从而为相关应用提供更可靠的评估结果。此外，DnA-Eval还可以用于改进LLM的评估能力，例如，通过分析LLM在不同评估阶段的表现，可以针对性地改进LLM的训练数据和模型结构。

📄 摘要（原文）

The acceleration of Large Language Models (LLMs) research has opened up new possibilities for evaluating generated texts. They serve as scalable and economical evaluators, but the question of how reliable these evaluators are has emerged as a crucial research question. Prior research efforts in the meta-evaluation of LLMs as judges limit the prompting of an LLM to a single use to obtain a final evaluation decision. They then compute the agreement between LLMs' outputs and human labels. This lacks interpretability in understanding the evaluation capability of LLMs. In light of this challenge, we propose Decompose and Aggregate, which breaks down the evaluation process into different stages based on pedagogical practices. Our experiments illustrate that it not only provides a more interpretable window for how well LLMs evaluate, but also leads to improvements up to 39.6% for different LLMs on a variety of meta-evaluation benchmarks.