Evaluating LLMs at Detecting Errors in LLM Responses

📄 arXiv: 2404.03602v2 📥 PDF

作者: Ryo Kamoi, Sarkar Snigdha Sarathi Das, Renze Lou, Jihyun Janice Ahn, Yilun Zhao, Xiaoxin Lu, Nan Zhang, Yusen Zhang, Ranran Haoran Zhang, Sujeeth Reddy Vummanthala, Salika Dave, Shaobo Qin, Arman Cohan, Wenpeng Yin, Rui Zhang

分类: cs.CL

发布日期: 2024-04-04 (更新: 2024-07-27)

备注: COLM 2024, 46 pages, Benchmark and code: https://github.com/psunlpgroup/ReaLMistake

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReaLMistake基准以解决LLM响应错误检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 错误检测 自然语言处理 基准评估 推理正确性 上下文可信度 参数化知识

📋 核心要点

  1. 现有方法在LLM响应错误检测方面研究较少，且收集错误注释面临主观性挑战。
  2. 本文提出ReaLMistake基准，通过引入客观和多样化的错误类型，填补LLM响应错误检测的研究空白。
  3. 实验结果显示，顶级LLM在错误检测中的召回率极低，且基于LLM的错误检测器表现不如人类。

📝 摘要（中文）

随着大型语言模型（LLMs）在各种任务中的广泛应用，检测其响应中的错误变得愈发重要。然而，关于LLM响应错误检测的研究仍然较少。由于许多自然语言处理任务的主观性，收集LLM响应的错误注释面临挑战。本文引入了ReaLMistake，这是第一个包含LLM所犯客观、现实和多样化错误的错误检测基准。ReaLMistake包含三个具有挑战性和意义的任务，涵盖四类客观可评估的错误（推理正确性、遵循指令、上下文可信度和参数化知识），并由专家对GPT-4和Llama 2 70B的响应进行注释。我们利用ReaLMistake评估了12个LLM的错误检测器，发现顶级LLM如GPT-4和Claude 3在检测LLM错误时召回率极低，且所有基于LLM的错误检测器表现远不及人类。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）响应中的错误检测问题。现有方法在这一领域的研究较少，且由于任务的主观性，收集错误注释面临困难。

核心思路：论文提出了ReaLMistake基准，包含客观、现实和多样化的错误类型，旨在为LLM响应的错误检测提供一个标准化的评估框架。

技术框架：ReaLMistake基准由三个主要任务组成，涵盖推理正确性、遵循指令、上下文可信度和参数化知识四类错误。每个任务都通过专家注释的方式进行评估，确保错误的客观性和多样性。

关键创新：ReaLMistake是首个针对LLM响应错误检测的基准，提供了多样化和客观的错误类型，与以往研究集中于有限错误类型的做法有本质区别。

关键设计：在实验中，使用了12个不同的LLM作为错误检测器，评估其在ReaLMistake基准上的表现，并分析了不同提示对错误检测性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，顶级LLM如GPT-4和Claude 3在错误检测中的召回率极低，且所有基于LLM的错误检测器的表现均显著低于人类。这一发现强调了当前LLM在错误检测任务中的局限性，且流行的改进方法如自一致性和多数投票并未提升检测性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动化内容生成等。通过提高LLM响应的错误检测能力，可以显著提升这些系统的可靠性和用户体验，未来可能推动更高效的人工智能应用。

📄 摘要（原文）

With Large Language Models (LLMs) being widely used across various tasks, detecting errors in their responses is increasingly crucial. However, little research has been conducted on error detection of LLM responses. Collecting error annotations on LLM responses is challenging due to the subjective nature of many NLP tasks, and thus previous research focuses on tasks of little practical value (e.g., word sorting) or limited error types (e.g., faithfulness in summarization). This work introduces ReaLMistake, the first error detection benchmark consisting of objective, realistic, and diverse errors made by LLMs. ReaLMistake contains three challenging and meaningful tasks that introduce objectively assessable errors in four categories (reasoning correctness, instruction-following, context-faithfulness, and parameterized knowledge), eliciting naturally observed and diverse errors in responses of GPT-4 and Llama 2 70B annotated by experts. We use ReaLMistake to evaluate error detectors based on 12 LLMs. Our findings show: 1) Top LLMs like GPT-4 and Claude 3 detect errors made by LLMs at very low recall, and all LLM-based error detectors perform much worse than humans. 2) Explanations by LLM-based error detectors lack reliability. 3) LLMs-based error detection is sensitive to small changes in prompts but remains challenging to improve. 4) Popular approaches to improving LLMs, including self-consistency and majority vote, do not improve the error detection performance. Our benchmark and code are provided at https://github.com/psunlpgroup/ReaLMistake.