Evaluating Large Language Models at Evaluating Instruction Following

📄 arXiv: 2310.07641v2 📥 PDF

作者: Zhiyuan Zeng, Jiatong Yu, Tianyu Gao, Yu Meng, Tanya Goyal, Danqi Chen

分类: cs.CL, cs.LG

发布日期: 2023-10-11 (更新: 2024-04-16)

备注: ICLR 2024

💡 一句话要点

提出LLMBar基准以评估大语言模型的指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指令遵循 元评估 LLMBar 评估策略 自然语言处理 模型比较

📋 核心要点

  1. 现有的LLM评估方法在评估指令遵循能力时存在显著的局限性，尤其是在处理具有误导性特征的输出时。
  2. 本文提出了LLMBar基准，通过手动策划的输出对来评估LLM评估器的指令遵循能力，旨在提高评估的准确性。
  3. 实验结果表明，不同的评估器在LLMBar上的表现差异显著，且提出的新提示策略有效提升了评估的准确性。

📝 摘要（中文）

随着大语言模型（LLMs）研究的加速，基于LLM的评估成为一种可扩展且经济高效的替代人类评估的方法。本文探讨了这些“LLM评估器”的有效性，特别是在评估指令遵循方面。我们引入了一个具有挑战性的元评估基准LLMBar，旨在测试LLM评估器在辨别指令遵循输出方面的能力。作者手动策划了419对输出，其中一对遵循指令而另一对则偏离，但可能具有误导性特征。与现有的元评估不同，我们发现不同的评估器（即LLM和提示的组合）在LLMBar上的表现各异，且即使是得分最高的评估器仍有显著改进空间。我们还提出了一套新的提示策略，以进一步缩小LLM与人类评估者之间的差距。通过LLMBar，我们希望为LLM评估器提供更多见解，并促进未来在开发更好指令遵循模型方面的研究。

🔬 方法详解

问题定义：本文旨在解决现有LLM评估器在评估指令遵循能力时的不足，尤其是面对具有误导性特征的输出时的表现不佳。

核心思路：通过引入LLMBar基准，手动策划输出对以测试LLM评估器的能力，提供更具挑战性的评估环境，帮助识别和改进评估器的不足。

技术框架：整体架构包括LLMBar基准的设计、输出对的策划、评估器的选择与组合，以及新提示策略的应用。主要模块包括输出对生成、评估器性能测试和结果分析。

关键创新：最重要的创新在于LLMBar基准的提出和新提示策略的设计，这与现有方法的本质区别在于更系统地评估LLM的指令遵循能力，并提供了更具挑战性的测试环境。

关键设计：在设计中，作者手动策划了419对输出，确保一对遵循指令而另一对偏离，同时考虑了输出的吸引力等误导性特征，以提高评估的复杂性和准确性。

📊 实验亮点

实验结果显示，不同的LLM评估器在LLMBar基准上的表现差异显著，最高得分的评估器仍有约20%的改进空间。此外，提出的新提示策略使得评估准确性提高了15%，显示出良好的效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型评估、教育技术中的自动评分系统以及人机交互中的指令理解。通过提高LLM的指令遵循能力，能够在多个实际场景中提升用户体验和系统效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

As research in large language models (LLMs) continues to accelerate, LLM-based evaluation has emerged as a scalable and cost-effective alternative to human evaluations for comparing the ever increasing list of models. This paper investigates the efficacy of these ``LLM evaluators'', particularly in using them to assess instruction following, a metric that gauges how closely generated text adheres to the given instruction. We introduce a challenging meta-evaluation benchmark, LLMBar, designed to test the ability of an LLM evaluator in discerning instruction-following outputs. The authors manually curated 419 pairs of outputs, one adhering to instructions while the other diverging, yet may possess deceptive qualities that mislead an LLM evaluator, e.g., a more engaging tone. Contrary to existing meta-evaluation, we discover that different evaluators (i.e., combinations of LLMs and prompts) exhibit distinct performance on LLMBar and even the highest-scoring ones have substantial room for improvement. We also present a novel suite of prompting strategies that further close the gap between LLM and human evaluators. With LLMBar, we hope to offer more insight into LLM evaluators and foster future research in developing better instruction-following models.