FELM: Benchmarking Factuality Evaluation of Large Language Models

📄 arXiv: 2310.00741v2 📥 PDF

作者: Shiqi Chen, Yiran Zhao, Jinghan Zhang, I-Chun Chern, Siyang Gao, Pengfei Liu, Junxian He

分类: cs.CL

发布日期: 2023-10-01 (更新: 2023-11-28)

备注: Accepted by NeurIPS 2023 Track on Datasets and Benchmarks

💡 一句话要点

提出FELM基准以评估大型语言模型的事实性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事实性评估 大型语言模型 基准测试 多领域覆盖 错误标注

📋 核心要点

  1. 现有的事实性评估方法缺乏全面性，主要集中在世界知识，导致评估器的进步受限。
  2. 本文提出FELM基准，通过细致标注多领域生成文本的事实性，旨在提升评估的准确性和全面性。
  3. 实验显示，尽管引入检索机制能改善评估效果，但现有大型语言模型在检测事实错误方面仍存在显著不足。

📝 摘要（中文）

评估大型语言模型生成文本的事实性是一个新兴且重要的研究领域，旨在提醒用户潜在错误并指导更可靠的模型开发。然而，现有的事实性评估方法尚未得到充分探索，限制了评估器的进步。为此，本文提出了FELM基准，收集并细致标注了来自大型语言模型的生成响应，覆盖多个领域的事实性。实验结果表明，尽管检索机制有助于事实性评估，但当前的语言模型在准确检测事实错误方面仍显不足。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成文本的事实性评估问题，现有方法主要集中于世界知识，缺乏对多领域的全面评估，导致评估器的性能受限。

核心思路：提出FELM基准，通过细致的标注和多领域覆盖，帮助识别具体的事实错误，进而推动事实性评估的进步。

技术框架：FELM基准的整体架构包括数据收集、细致标注、错误类型定义和参考链接的提供，确保评估的全面性和准确性。

关键创新：FELM的创新在于其多领域的事实性评估，超越了以往仅关注世界知识的研究，提供了更为细致的错误标注和分类。

关键设计：在标注过程中，采用了细粒度的文本片段分析，结合预定义的错误类型和支持或反驳的参考链接，确保评估的准确性和可追溯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管引入检索机制能够在一定程度上提升事实性评估的效果，但当前的语言模型在准确检测事实错误方面仍显不足，未能达到理想的性能水平。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和智能问答系统等。通过提升大型语言模型的事实性评估能力，可以增强用户对生成内容的信任，推动更可靠的AI系统发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Assessing factuality of text generated by large language models (LLMs) is an emerging yet crucial research area, aimed at alerting users to potential errors and guiding the development of more reliable LLMs. Nonetheless, the evaluators assessing factuality necessitate suitable evaluation themselves to gauge progress and foster advancements. This direction remains under-explored, resulting in substantial impediments to the progress of factuality evaluators. To mitigate this issue, we introduce a benchmark for Factuality Evaluation of large Language Models, referred to as felm. In this benchmark, we collect responses generated from LLMs and annotate factuality labels in a fine-grained manner. Contrary to previous studies that primarily concentrate on the factuality of world knowledge (e.g.~information from Wikipedia), felm focuses on factuality across diverse domains, spanning from world knowledge to math and reasoning. Our annotation is based on text segments, which can help pinpoint specific factual errors. The factuality annotations are further supplemented by predefined error types and reference links that either support or contradict the statement. In our experiments, we investigate the performance of several LLM-based factuality evaluators on felm, including both vanilla LLMs and those augmented with retrieval mechanisms and chain-of-thought processes. Our findings reveal that while retrieval aids factuality evaluation, current LLMs are far from satisfactory to faithfully detect factual errors.