Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks

📄 arXiv: 2310.13800v1 📥 PDF

作者: Andrea Sottana, Bin Liang, Kai Zou, Zheng Yuan

分类: cs.CL

发布日期: 2023-10-20

备注: Accepted at EMNLP 2023

💡 一句话要点

提出混合评估方法以提升大语言模型在序列到序列任务中的评估准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自动评估 人工评审 文本摘要 语法纠正 评估指标 GPT-4

📋 核心要点

  1. 现有的大语言模型评估方法存在不一致性，自动评估指标未能有效反映模型性能。
  2. 本文提出了一种混合评估方法，结合自动评估与人工评审，以更全面地评估生成模型的表现。
  3. 实验结果显示，ChatGPT在多数指标上优于其他模型，但在传统自动评估中表现不佳，且黄金标准的质量问题显著。

📝 摘要（中文）

大语言模型（LLMs）的评估现状不一致，自动评估指标的质量未能跟上生成模型的发展步伐。本文通过对多种开源和闭源生成LLMs在文本摘要、文本简化和语法错误纠正（GEC）三个NLP基准上的初步混合评估，旨在提高对当前模型性能的理解。研究发现，ChatGPT在大多数指标上优于其他流行模型，但在经典自动评估指标下表现较差。此外，人工评审认为黄金参考的质量低于最佳模型输出，表明许多流行基准的质量欠佳。最后，GPT-4能够在一定程度上与人类判断对齐，尽管在GEC任务中对齐程度较低。

🔬 方法详解

问题定义：本文旨在解决大语言模型评估中的不一致性和自动评估指标质量不足的问题。现有方法无法准确反映模型在序列到序列任务中的真实表现。

核心思路：通过引入混合评估方法，结合自动评估和人工评审，提供对模型性能的更全面理解。这种设计旨在弥补传统自动评估的不足。

技术框架：研究采用了一个多阶段的评估框架，首先进行自动评估，然后通过人类评审对结果进行验证和补充。主要模块包括模型输出生成、自动评估指标计算和人工评审反馈收集。

关键创新：最重要的创新在于利用GPT-4作为评估工具，发现其在对模型输出进行排名时与人类判断有较高的一致性，尤其在文本摘要和简化任务中表现突出。

关键设计：在评估过程中，设置了多种自动评估指标，并与人工评审结果进行对比，确保评估的全面性和准确性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ChatGPT在大多数评估指标上优于其他流行模型，尤其在人工评审中表现突出。然而，在传统自动评估中，ChatGPT的得分较低，显示出评估基准的质量问题。GPT-4的评估结果与人类判断的对齐程度较高，尤其在文本摘要和简化任务中，提升了评估的可靠性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、自动摘要和语法纠正等任务。通过改进评估方法，能够更准确地衡量模型性能，从而推动生成模型的进一步发展与应用，提升实际使用中的效果与可靠性。

📄 摘要（原文）

Large Language Models (LLMs) evaluation is a patchy and inconsistent landscape, and it is becoming clear that the quality of automatic evaluation metrics is not keeping up with the pace of development of generative models. We aim to improve the understanding of current models' performance by providing a preliminary and hybrid evaluation on a range of open and closed-source generative LLMs on three NLP benchmarks: text summarisation, text simplification and grammatical error correction (GEC), using both automatic and human evaluation. We also explore the potential of the recently released GPT-4 to act as an evaluator. We find that ChatGPT consistently outperforms many other popular models according to human reviewers on the majority of metrics, while scoring much more poorly when using classic automatic evaluation metrics. We also find that human reviewers rate the gold reference as much worse than the best models' outputs, indicating the poor quality of many popular benchmarks. Finally, we find that GPT-4 is capable of ranking models' outputs in a way which aligns reasonably closely to human judgement despite task-specific variations, with a lower alignment in the GEC task.