Reducing Tool Hallucination via Reliability Alignment

📄 arXiv: 2412.04141v3 📥 PDF

作者: Hongshen Xu, Zichen Zhu, Lei Pan, Zihan Wang, Su Zhu, Da Ma, Ruisheng Cao, Lu Chen, Kai Yu

分类: cs.CL

发布日期: 2024-12-05 (更新: 2025-05-29)

💡 一句话要点

提出Relign框架，通过可靠性对齐减少LLM工具幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具幻觉 可靠性对齐 工具使用 不确定性动作

📋 核心要点

  1. 现有LLM在工具使用中存在幻觉问题，导致任务失败和资源浪费。
  2. Relign框架通过引入不确定性动作，使LLM能够延迟决策或寻求帮助。
  3. RelyToolBench基准测试和实验表明，Relign能有效减少工具幻觉并提升效率。

📝 摘要（中文）

大型语言模型（LLMs）的能力已扩展到语言生成之外，能够与外部工具交互，从而实现自动化和实际应用。然而，工具幻觉（模型选择不适当的工具或错误使用工具）带来了重大挑战，导致错误的任务执行、增加的计算成本和降低的系统可靠性。为了系统地解决这个问题，我们将工具幻觉定义并分类为两种主要类型：工具选择幻觉和工具使用幻觉。为了评估和缓解这些问题，我们引入了RelyToolBench，它集成了专门的测试用例和新的指标，以评估幻觉感知的任务成功率和效率。最后，我们提出了Relign，一个可靠性对齐框架，它扩展了工具使用动作空间，包括不确定性动作，允许LLMs推迟工具使用、寻求澄清或动态调整工具选择。通过广泛的实验，我们证明Relign显著减少了工具幻觉，提高了任务可靠性，并提高了LLM工具交互的效率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在工具使用过程中出现的工具幻觉问题。现有的LLM在选择和使用工具时，经常出现错误，导致任务执行失败、计算成本增加以及系统可靠性降低。现有的方法缺乏对模型可靠性的考量，无法有效区分模型有把握和不确定的情况，从而导致盲目使用工具。

核心思路：论文的核心思路是通过可靠性对齐来减少工具幻觉。具体来说，就是扩展LLM的动作空间，使其不仅包含工具的使用，还包括“不确定”的动作，例如请求澄清、推迟决策等。通过这种方式，LLM可以在不确定的情况下避免盲目使用工具，从而降低幻觉的发生。

技术框架：Relign框架的核心在于扩展LLM的动作空间，引入“不确定”动作。整体流程如下：1）LLM接收任务输入；2）LLM根据输入选择动作，动作空间包括工具使用和不确定动作；3）如果选择工具使用，则执行工具并返回结果；4）如果选择不确定动作，则根据具体动作执行相应操作（例如，请求澄清）；5）重复步骤1-4，直到任务完成。RelyToolBench用于评估Relign的性能，包含专门设计的测试用例和评估指标。

关键创新：Relign的关键创新在于引入了“不确定”动作，并将其纳入LLM的动作空间。这使得LLM能够在不确定的情况下避免盲目使用工具，从而降低幻觉的发生。与现有方法相比，Relign更加注重模型的可靠性，能够有效区分模型有把握和不确定的情况。

关键设计：Relign的关键设计在于如何定义和实现“不确定”动作。具体来说，论文定义了多种不确定动作，例如请求澄清、推迟决策等。这些动作可以通过不同的方式实现，例如，请求澄清可以通过向用户提问来实现，推迟决策可以通过设置一个阈值来实现。此外，论文还设计了相应的奖励函数，以鼓励LLM选择合适的不确定动作。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Relign框架能够显著减少工具幻觉，提高任务可靠性。具体来说，Relign在RelyToolBench基准测试上取得了显著的性能提升，在任务成功率和效率方面均优于现有方法。例如，Relign能够将工具选择幻觉降低XX%，工具使用幻觉降低YY%。

🎯 应用场景

该研究成果可应用于各种需要LLM与外部工具交互的场景，例如智能客服、自动化流程、机器人控制等。通过减少工具幻觉，可以提高任务的成功率和效率，降低计算成本，并提升系统的可靠性。未来，该技术有望推动LLM在实际应用中的广泛应用。

📄 摘要（原文）

Large Language Models (LLMs) have expanded their capabilities beyond language generation to interact with external tools, enabling automation and real-world applications. However, tool hallucinations, where models either select inappropriate tools or misuse them, pose significant challenges, leading to erroneous task execution, increased computational costs, and reduced system reliability. To systematically address this issue, we define and categorize tool hallucinations into two main types, tool selection hallucination and tool usage hallucination. To evaluate and mitigate these issues, we introduce RelyToolBench, which integrates specialized test cases and novel metrics to assess hallucination-aware task success and efficiency. Finally, we propose Relign, a reliability alignment framework that expands the tool-use action space to include indecisive actions, allowing LLMs to defer tool use, seek clarification, or adjust tool selection dynamically. Through extensive experiments, we demonstrate that Relign significantly reduces tool hallucinations, improves task reliability, and enhances the efficiency of LLM tool interactions.