Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models

📄 arXiv: 2601.15652v1 📥 PDF

作者: Manish Bhatt

分类: cs.AI, cs.CR, cs.ET

发布日期: 2026-01-22

💡 一句话要点

提出基于预测编码和信息瓶颈的LLM幻觉检测框架，提升检测效率和可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉检测 预测编码 信息瓶颈 可解释性 监督学习 数据效率

📋 核心要点

  1. 现有LLM幻觉检测方法依赖高计算资源或黑盒模型，缺乏效率和可解释性，限制了实际应用。
  2. 提出结合预测编码和信息瓶颈的混合框架，提取可解释信号，提升幻觉检测性能和数据效率。
  3. 实验表明，该方法在数据效率、推理速度和性能上均优于现有方法，且模型更轻量、可解释。

📝 摘要（中文）

大型语言模型(LLMs)中的幻觉——即看似合理但事实不忠实的生成内容——仍然是高风险部署的关键障碍。目前的检测方法通常依赖于计算成本高昂的外部检索循环或需要70B+参数的不透明黑盒LLM判别器。本文介绍了一种混合检测框架[Model Name]，它结合了受神经科学启发的信号设计与监督机器学习。我们提取了基于预测编码（量化相对于内部先验的意外程度）和信息瓶颈（测量扰动下的信号保留）的可解释信号。通过系统的消融实验，我们展示了三个关键增强：实体聚焦吸收（集中于高价值token），上下文一致性（测量基础强度）和可证伪性得分（检测自信但矛盾的主张）。在HaluBench（n=200，完全平衡）上的评估表明，我们的理论指导基线达到了0.8017 AUROC。BASE监督模型达到0.8274 AUROC，而改进的特征将性能提高到0.8669 AUROC（4.95％的增益），证明了跨架构的一致改进。这种有竞争力的性能是在使用比Lynx少75倍的训练数据（200 vs 15,000个样本），快1000倍的推理速度（5ms vs 5s）并且保持完全可解释性的情况下实现的。至关重要的是，我们报告了一个负面结果：合理化信号无法区分幻觉，表明LLM为错误的假设生成连贯的推理（“谄媚”）。这项工作表明，编码在信号架构中的领域知识提供了优于扩展LLM判别器的数据效率，从而以适用于生产部署的轻量级（小于1M参数）、可解释的模型实现了强大的性能。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）中幻觉检测的问题。现有方法，如依赖外部检索或大型LLM判别器，存在计算成本高、推理速度慢、可解释性差等痛点，难以在实际生产环境中部署。

核心思路：论文的核心思路是借鉴神经科学中的预测编码和信息瓶颈理论，设计可解释的信号，并结合监督学习，构建一个轻量级、高效且可解释的幻觉检测框架。通过量化模型对输入的“惊讶程度”和在扰动下的信息保留能力，来判断生成内容是否为幻觉。

技术框架：该框架包含以下主要模块：1) 信号提取：基于预测编码和信息瓶颈理论，提取实体聚焦吸收、上下文一致性和可证伪性得分等信号。2) 特征工程：对提取的信号进行处理，形成用于监督学习的特征向量。3) 监督学习模型：使用轻量级的机器学习模型（如逻辑回归、SVM等）对特征向量进行训练，得到幻觉检测模型。

关键创新：该方法最重要的创新点在于其信号设计，即基于神经科学理论构建可解释的信号，而非依赖于黑盒LLM判别器。这种方法不仅提高了检测效率，还增强了模型的可解释性，使其更易于调试和改进。此外，该方法在数据效率方面也表现出色，仅需少量训练数据即可达到与大型模型相当的性能。

关键设计：论文的关键设计包括：1) 实体聚焦吸收：关注高价值token，减少噪声干扰。2) 上下文一致性：衡量生成内容与上下文的关联程度。3) 可证伪性得分：检测生成内容中是否存在矛盾之处。这些信号的设计都基于对LLM内部机制的理解，并结合了领域知识。

📊 实验亮点

实验结果表明，该方法在HaluBench数据集上取得了显著的性能提升。改进后的特征使模型AUROC达到0.8669，相比基线模型提升了4.95%。更重要的是，该方法仅使用少量训练数据（200个样本），推理速度快（5ms），且模型轻量级（小于1M参数），远优于需要大量数据和计算资源的现有方法。

🎯 应用场景

该研究成果可应用于各种需要高可靠性和可信度的LLM应用场景，如医疗诊断、金融分析、法律咨询等。通过提高LLM生成内容的准确性和可信度，可以降低错误信息带来的风险，并提升用户体验。此外，该方法的可解释性也使其更易于被监管机构和用户接受。

📄 摘要（原文）

Hallucinations in Large Language Models (LLMs) -- generations that are plausible but factually unfaithful -- remain a critical barrier to high-stakes deployment. Current detection methods typically rely on computationally expensive external retrieval loops or opaque black-box LLM judges requiring 70B+ parameters. In this work, we introduce [Model Name], a hybrid detection framework that combines neuroscience-inspired signal design with supervised machine learning. We extract interpretable signals grounded in Predictive Coding (quantifying surprise against internal priors) and the Information Bottleneck (measuring signal retention under perturbation). Through systematic ablation, we demonstrate three key enhancements: Entity-Focused Uptake (concentrating on high-value tokens), Context Adherence (measuring grounding strength), and Falsifiability Score (detecting confident but contradictory claims). Evaluating on HaluBench (n=200, perfectly balanced), our theory-guided baseline achieves 0.8017 AUROC. BASE supervised models reach 0.8274 AUROC, while IMPROVED features boost performance to 0.8669 AUROC (4.95% gain), demonstrating consistent improvements across architectures. This competitive performance is achieved while using 75x less training data than Lynx (200 vs 15,000 samples), 1000x faster inference (5ms vs 5s), and remaining fully interpretable. Crucially, we report a negative result: the Rationalization signal fails to distinguish hallucinations, suggesting that LLMs generate coherent reasoning for false premises ("Sycophancy"). This work demonstrates that domain knowledge encoded in signal architecture provides superior data efficiency compared to scaling LLM judges, achieving strong performance with lightweight (less than 1M parameter), explainable models suitable for production deployment.