Internal Representations as Indicators of Hallucinations in Agent Tool Selection

📄 arXiv: 2601.05214v1 📥 PDF

作者: Kait Healy, Bharathi Srinivasan, Visakh Madathil, Jing Wu

分类: cs.AI

发布日期: 2026-01-08

💡 一句话要点

利用LLM内部表征实时检测Agent工具选择中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具调用 幻觉检测 内部表征 Agent系统

📋 核心要点

  1. 现有Agent工具选择方法易产生幻觉，导致工具误用、参数错误和工具绕过，影响系统可靠性和安全性。
  2. 该论文提出利用LLM内部表征，在单次前向传递中实时检测工具调用幻觉，无需额外计算或外部验证。
  3. 实验表明，该方法在多个领域推理任务中表现出强大的幻觉检测性能，准确率高达86.4%，且计算开销小。

📝 摘要（中文）

大型语言模型(LLM)在工具调用和使用方面表现出卓越的能力，但存在幻觉问题，例如选择不正确的工具、提供格式错误的参数以及表现出“工具绕过”行为，即执行模拟并生成输出，而不是调用专门的工具或外部系统。这损害了基于LLM的Agent在生产系统中的可靠性，因为它导致不一致的结果，并绕过安全和审计控制。Agent工具选择中的此类幻觉需要早期检测和错误处理。与需要多次前向传递或外部验证的现有幻觉检测方法不同，我们提出了一个计算高效的框架，通过利用LLM在生成过程中使用的相同前向传递中的内部表征来实时检测工具调用幻觉。我们在多个领域的推理任务中评估了这种方法，证明了强大的检测性能（高达86.4％的准确率），同时保持了具有最小计算开销的实时推理能力，尤其擅长检测参数级别的幻觉和不适当的工具选择，这对于可靠的Agent部署至关重要。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在Agent工具选择过程中出现的幻觉问题。现有方法，如多次前向传递或外部验证，计算成本高昂，不适用于实时应用。此外，现有方法难以有效检测参数级别的幻觉和不适当的工具选择，这些问题严重影响了Agent的可靠性和安全性。

核心思路：该论文的核心思路是利用LLM在生成过程中的内部表征来识别幻觉。作者认为，当LLM产生幻觉时，其内部表征会与正常情况下的表征有所不同。通过分析这些内部表征，可以实时检测出工具调用中的错误，而无需额外的计算或外部信息。

技术框架：该框架主要包括以下几个步骤：1) LLM接收输入并生成工具调用指令；2) 在生成过程中，提取LLM的内部表征（例如，特定层的激活值）；3) 使用分类器（例如，逻辑回归或神经网络）分析这些内部表征，判断是否存在幻觉；4) 如果检测到幻觉，则采取相应的纠正措施，例如重新生成工具调用指令或发出警报。

关键创新：该论文的关键创新在于利用LLM自身的内部信息进行幻觉检测，避免了对外部资源的依赖，实现了实时、高效的幻觉检测。与现有方法相比，该方法计算成本更低，更适用于实际应用。此外，该方法能够有效检测参数级别的幻觉和不适当的工具选择，提高了Agent的可靠性。

关键设计：论文中，内部表征的选择至关重要，作者可能尝试了不同层的激活值，并选择了最能区分幻觉和正常情况的表征。分类器的选择也需要仔细考虑，需要在准确性和计算效率之间进行权衡。此外，如何定义和量化幻觉也是一个关键的设计问题，作者可能使用了人工标注或自动生成的方法来构建幻觉数据集。

📊 实验亮点

实验结果表明，该方法在多个领域的推理任务中取得了显著的幻觉检测性能，准确率高达86.4%。与现有方法相比，该方法在保持实时推理能力的同时，计算开销极小。尤其是在检测参数级别的幻觉和不适当的工具选择方面，该方法表现出色，为可靠的Agent部署提供了有力保障。

🎯 应用场景

该研究成果可广泛应用于各种基于LLM的Agent系统中，例如智能客服、自动化运维、智能家居等。通过实时检测和纠正工具调用中的幻觉，可以提高Agent的可靠性和安全性，降低错误率，提升用户体验。该技术还有助于构建更加可信赖和可控的人工智能系统。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable capabilities in tool calling and tool usage, but suffer from hallucinations where they choose incorrect tools, provide malformed parameters and exhibit 'tool bypass' behavior by performing simulations and generating outputs instead of invoking specialized tools or external systems. This undermines the reliability of LLM based agents in production systems as it leads to inconsistent results, and bypasses security and audit controls. Such hallucinations in agent tool selection require early detection and error handling. Unlike existing hallucination detection methods that require multiple forward passes or external validation, we present a computationally efficient framework that detects tool-calling hallucinations in real-time by leveraging LLMs' internal representations during the same forward pass used for generation. We evaluate this approach on reasoning tasks across multiple domains, demonstrating strong detection performance (up to 86.4\% accuracy) while maintaining real-time inference capabilities with minimal computational overhead, particularly excelling at detecting parameter-level hallucinations and inappropriate tool selections, critical for reliable agent deployment.