ToolBeHonest: A Multi-level Hallucination Diagnostic Benchmark for Tool-Augmented Large Language Models

📄 arXiv: 2406.20015v2 📥 PDF

作者: Yuxiang Zhang, Jing Chen, Junjie Wang, Yaxin Liu, Cheng Yang, Chufan Shi, Xinyu Zhu, Zihao Lin, Hanwen Wan, Yujiu Yang, Tetsuya Sakai, Tian Feng, Hayato Yamana

分类: cs.CL, cs.AI

发布日期: 2024-06-28 (更新: 2024-10-04)

💡 一句话要点

ToolBeHonest：一个用于工具增强大语言模型的多层次幻觉诊断基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具增强LLM 幻觉诊断 基准测试 多层次诊断 可解性检测

📋 核心要点

  1. 现有工具增强大语言模型缺乏系统性的幻觉诊断基准，阻碍了模型安全性和可靠性的提升。
  2. ToolBH基准从深度（多层次诊断）和广度（不同工具集场景）两个维度全面评估LLM的幻觉问题。
  3. 实验结果表明，现有先进模型在ToolBH基准上表现不佳，揭示了工具增强LLM中幻觉问题的严峻性。

📝 摘要（中文）

工具增强的大语言模型（LLMs）正迅速集成到实际应用中。由于缺乏基准测试，社区尚未完全了解这些模型中的幻觉问题。为了应对这一挑战，我们引入了一个全面的诊断基准ToolBH。具体来说，我们从深度和广度两个角度评估LLM的幻觉。在深度方面，我们提出了一个多层次的诊断过程，包括（1）可解性检测，（2）解决方案规划，和（3）缺失工具分析。在广度方面，我们考虑了基于工具集特征的三个场景：缺少必要工具、潜在工具和功能受限的工具。此外，我们开发了七个任务，并通过多轮人工标注收集了700个评估样本。结果表明ToolBH基准提出了重大挑战。当前先进的模型Gemini-1.5-Pro和GPT-4o在100分制下分别只获得了45.3和37.0的总分。在这个基准中，更大的模型参数并不能保证更好的性能；训练数据和响应策略在工具增强的LLM场景中也起着至关重要的作用。我们的诊断分析表明，模型错误的主要原因在于评估任务的可解性。此外，开放权重模型在冗长的回复中性能下降，而专有模型在更长的推理中表现出色。

🔬 方法详解

问题定义：论文旨在解决工具增强大语言模型中幻觉问题缺乏有效诊断和评估的问题。现有方法缺乏针对工具使用场景的细粒度分析，无法准确识别和定位幻觉的根源，导致模型改进缺乏针对性。

核心思路：论文的核心思路是通过构建一个多层次、多维度的诊断基准，全面评估LLM在工具使用过程中的幻觉问题。该基准从任务可解性、解决方案规划、工具缺失等多个层次进行深入分析，并考虑了不同工具集场景的影响，从而更准确地诊断幻觉的来源。

技术框架：ToolBH基准包含以下主要模块：1) 任务定义：设计了七个不同的任务，涵盖了常见的工具使用场景。2) 数据收集：通过多轮人工标注，收集了700个评估样本。3) 深度诊断：提出了一个多层次的诊断过程，包括可解性检测、解决方案规划和缺失工具分析。4) 广度诊断：考虑了三种基于工具集特征的场景：缺少必要工具、潜在工具和功能受限的工具。5) 评估指标：设计了用于评估模型在不同诊断层次和场景下性能的指标。

关键创新：ToolBH基准的关键创新在于其多层次、多维度的诊断框架，能够更全面、细致地评估工具增强LLM的幻觉问题。与现有方法相比，ToolBH不仅关注模型输出的正确性，还深入分析了模型在任务理解、工具选择、解决方案规划等方面的表现，从而更准确地定位幻觉的根源。

关键设计：在深度诊断方面，论文设计了三个层次的评估：1) 可解性检测：评估模型是否能够正确判断任务是否可解。2) 解决方案规划：评估模型是否能够制定合理的解决方案。3) 缺失工具分析：评估模型是否能够识别缺失的必要工具。在广度诊断方面，论文考虑了三种不同的工具集场景，并针对每种场景设计了相应的评估指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有先进模型（如Gemini-1.5-Pro和GPT-4o）在ToolBH基准上的表现不佳，总分分别为45.3和37.0（满分100）。诊断分析表明，模型错误的主要原因在于评估任务的可解性。此外，开放权重模型在冗长的回复中性能下降，而专有模型在更长的推理中表现出色。这些结果揭示了工具增强LLM中幻觉问题的严峻性，并为未来的研究方向提供了重要启示。

🎯 应用场景

ToolBH基准可用于评估和改进工具增强大语言模型的性能，提高其在实际应用中的可靠性和安全性。该基准可以帮助研究人员和开发人员更好地理解模型在工具使用过程中存在的幻觉问题，并针对性地进行改进，从而推动工具增强LLM在智能助手、自动化流程、知识检索等领域的广泛应用。

📄 摘要（原文）

Tool-augmented large language models (LLMs) are rapidly being integrated into real-world applications. Due to the lack of benchmarks, the community has yet to fully understand the hallucination issues within these models. To address this challenge, we introduce a comprehensive diagnostic benchmark, ToolBH. Specifically, we assess the LLM's hallucinations through two perspectives: depth and breadth. In terms of depth, we propose a multi-level diagnostic process, including (1) solvability detection, (2) solution planning, and (3) missing-tool analysis. For breadth, we consider three scenarios based on the characteristics of the toolset: missing necessary tools, potential tools, and limited functionality tools. Furthermore, we developed seven tasks and collected 700 evaluation samples through multiple rounds of manual annotation. The results show the significant challenges presented by the ToolBH benchmark. The current advanced models Gemini-1.5-Pro and GPT-4o only achieve total scores of 45.3 and 37.0, respectively, on a scale of 100. In this benchmark, larger model parameters do not guarantee better performance; the training data and response strategies also play crucial roles in tool-enhanced LLM scenarios. Our diagnostic analysis indicates that the primary reason for model errors lies in assessing task solvability. Additionally, open-weight models suffer from performance drops with verbose replies, whereas proprietary models excel with longer reasoning.