Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks

📄 arXiv: 2310.19740v2 📥 PDF

作者: Qintong Li, Leyang Cui, Lingpeng Kong, Wei Bi

分类: cs.CL

发布日期: 2023-10-30 (更新: 2025-01-18)

备注: We release our resources at \url{https://github.com/qtli/CoEval}

💡 一句话要点

探讨大型语言模型作为定制评估者的可靠性以解决NLP任务评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自然语言处理 评估方法 人类标注者 主观性 评估标准 数学推理 故事生成

📋 核心要点

  1. 现有方法在使用大型语言模型进行NLP任务评估时，存在公平性、准确性和评估标准范围等不足之处。
  2. 论文提出通过细粒度分析LLM评估者与人类标注者的对齐程度，探索LLM在多样化评估标准下的表现。
  3. 研究发现LLM在一般标准上表现优异，但在复杂标准上存在挑战，同时预草拟可提高评估的客观性。

📝 摘要（中文）

以往研究采用大型语言模型（LLMs）作为自然语言处理（NLP）任务的评估者。然而，当前LLM评估者在公平性、范围和准确性等方面仍存在不足。本文分析了LLM评估者与人类标注者之间的细粒度对齐，特别是在理解目标评估任务和满足多样化评估标准方面。研究表明，LLM评估者在生成流畅性等一般标准上表现良好，但在复杂标准（如数值推理）上面临挑战。此外，LLM在人工评估前的预草拟可以减少人类主观性影响，降低纯人工评估中的标注异常，从而实现更客观的评估。

🔬 方法详解

问题定义：本文旨在解决大型语言模型作为NLP任务评估者的可靠性问题，现有方法在公平性和准确性上存在不足，导致评估结果偏差。

核心思路：通过分析LLM评估者与人类标注者之间的细粒度对齐，探讨LLM在不同评估标准下的表现，尤其是复杂标准的处理能力。

技术框架：研究分为两个主要部分：一是传统任务（如故事生成）的评估，二是对齐任务（如数学推理）的评估，分别分析其评估标准的适用性。

关键创新：论文的创新点在于通过细致的对比分析，揭示LLM评估者在复杂评估标准下的局限性，并提出预草拟方法以减少人类主观性。

关键设计：在实验中，设置了多种评估标准，采用不同的损失函数和评估指标，以确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM评估者在流畅性等一般标准上表现良好，但在复杂标准（如数值推理）上存在显著挑战。通过LLM预草拟，能够有效减少人类主观性影响，提升评估的客观性，降低标注异常率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理任务的自动评估、教育领域的作业评分以及人机协作的智能评估系统。通过提高评估的客观性和准确性，能够为相关行业提供更高效的评估工具，推动智能评估技术的发展。

📄 摘要（原文）

Previous work adopts large language models (LLMs) as evaluators to evaluate natural language process (NLP) tasks. However, certain shortcomings, e.g., fairness, scope, and accuracy, persist for current LLM evaluators. To analyze whether LLMs can serve as reliable alternatives to humans, we examine the fine-grained alignment between LLM evaluators and human annotators, particularly in understanding the target evaluation tasks and conducting evaluations that meet diverse criteria. This paper explores both conventional tasks (e.g., story generation) and alignment tasks (e.g., math reasoning), each with different evaluation criteria. Our analysis shows that 1) LLM evaluators can generate unnecessary criteria or omit crucial criteria, resulting in a slight deviation from the experts. 2) LLM evaluators excel in general criteria, such as fluency, but face challenges with complex criteria, such as numerical reasoning. We also find that LLM-pre-drafting before human evaluation can help reduce the impact of human subjectivity and minimize annotation outliers in pure human evaluation, leading to more objective evaluation.