Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction
作者: Dan Wilson, Mohamed Akrout
分类: cs.LG, math.DS
发布日期: 2026-05-06
💡 一句话要点
提出基于动态系统预测的低成本黑盒大语言模型幻觉检测方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 幻觉检测 动态系统 Koopman算子 黑盒方法
📋 核心要点
- 现有LLM幻觉检测方法计算成本高昂，依赖采样一致性检查或外部知识检索，效率较低。
- 该论文将LLM视为黑盒动态系统，通过分析其响应的动态特性来检测幻觉，无需外部知识。
- 实验表明，该方法在降低资源开销的同时，实现了最先进的幻觉检测性能，具有实际应用价值。
📝 摘要（中文）
大型语言模型(LLM)经常生成看似合理但不符合事实的内容，这种现象被称为幻觉。现有的检测方法通常依赖于计算成本高的基于采样的连贯性检查或外部知识检索，本文提出了一种新的方法，将LLM视为黑盒动态系统。通过嵌入模型将LLM的响应投影到高维流形中，我们将得到的向量序列描述为模型潜在状态空间动力学的可观察实现。利用Koopman算子理论，我们拟合了事实和幻觉状态的转移算子，并基于各自的预测误差定义了一个微分残差分数。为了适应不同的用户需求和特定领域的敏感性，我们引入了一种偏好感知的校准机制，该机制基于少量演示来优化分类阈值。这种方法能够在单样本传递中实现低成本的幻觉检测，避免了二次采样或外部依据的需求。在三个数据基准上的广泛测试表明，我们的方法以更低的资源开销实现了最先进的性能。
🔬 方法详解
问题定义：论文旨在解决大语言模型（LLM）中普遍存在的幻觉问题，即LLM生成看似合理但实际上不符合事实的内容。现有方法，如基于采样的连贯性检查或外部知识检索，计算成本高昂，限制了其在资源受限场景下的应用。因此，需要一种低成本、高效的幻觉检测方法。
核心思路：论文的核心思路是将LLM视为一个黑盒动态系统，通过分析其输出响应的动态特性来检测幻觉。具体来说，将LLM的文本输出通过嵌入模型映射到高维向量空间，形成向量序列，这些序列被视为LLM内部状态空间动力学的可观察实现。通过学习这些动态特性，可以区分事实性响应和幻觉性响应。
技术框架：该方法主要包含以下几个阶段：1) 嵌入表示：使用预训练的嵌入模型（如Sentence-BERT）将LLM的文本响应转换为高维向量表示。2) 动态系统建模：利用Koopman算子理论，分别对事实性响应和幻觉性响应的向量序列进行动态系统建模，学习各自的转移算子。3) 幻觉检测：基于学习到的转移算子，计算LLM响应的预测误差（即微分残差分数），并将其作为幻觉的指标。4) 偏好感知校准：引入一种偏好感知的校准机制，根据用户提供的少量演示数据，优化分类阈值，以适应不同的用户需求和领域敏感性。
关键创新：该方法最重要的创新点在于将LLM视为黑盒动态系统，并利用Koopman算子理论进行建模。与现有方法相比，该方法无需进行昂贵的采样或外部知识检索，从而显著降低了计算成本。此外，偏好感知校准机制能够根据用户需求调整检测策略，提高了方法的灵活性和适应性。
关键设计：在动态系统建模方面，论文使用了Koopman算子理论，该理论提供了一种线性化非线性动态系统的方法。具体来说，通过学习一个线性算子来近似LLM内部状态空间的转移函数。微分残差分数的计算方式为：计算实际观测值与基于学习到的转移算子的预测值之间的差异。偏好感知校准机制通过优化分类阈值来实现，目标是最大化用户定义的效用函数，该函数考虑了真阳性率和假阳性率。
🖼️ 关键图片
📊 实验亮点
该方法在三个数据基准上进行了广泛测试，实验结果表明，该方法在降低资源开销的同时，实现了最先进的幻觉检测性能。具体来说，该方法在检测准确率、召回率和F1值等指标上均优于现有方法，并且计算成本显著降低，使其更适用于实际应用。
🎯 应用场景
该研究成果可广泛应用于各种需要LLM生成内容的场景，如智能客服、内容创作、教育辅导等。通过低成本的幻觉检测，可以提高LLM生成内容的可靠性和准确性，减少错误信息的传播，提升用户体验。未来，该方法可以进一步扩展到其他类型的生成模型，并与其他幻觉缓解技术相结合，构建更可靠的AI系统。
📄 摘要（原文）
Large Language Models (LLMs) frequently generate plausible but non-factual content, a phenomenon known as hallucination. While existing detection methods typically rely on computationally expensive sampling-based consistency checks or external knowledge retrieval, we propose a new method that treats the LLM as a black-box dynamical system. By projecting LLM responses into a high-dimensional manifold via an embedding model, we characterize the resulting vector sequences as observable realizations of the model's latent state-space dynamics. Leveraging Koopman operator theory, we fit the transition operators for both factual and hallucinated regimes and define a differential residual score based on their respective prediction errors. To accommodate varying user requirements and domain-specific sensitivities, we introduce a preference-aware calibration mechanism that optimizes the classification threshold based on a small set of demonstrations. This approach enables low-cost hallucination detection in a single-sample pass, avoiding the need for secondary sampling or external grounding. Extensive testing across three data benchmarks demonstrates that our method achieves state-of-the-art performance with reduced resource overhead.