Incentives or Ontology? A Structural Rebuttal to OpenAI's Hallucination Thesis

📄 arXiv: 2512.14801v1 📥 PDF

作者: Richard Ackermann, Simeon Emanuilov

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-12-16

备注: 17 pages, references to prior work arXiv:2509.16297 and arXiv:2511.06073

💡 一句话要点

挑战OpenAI幻觉理论：Transformer结构性缺陷导致幻觉，而非激励不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉 Transformer模型 结构性缺陷 知识验证

📋 核心要点

  1. 现有观点认为LLM幻觉是由于奖励机制偏差导致，鼓励模型自信输出而非保证知识正确性。
  2. 论文核心思想是Transformer的结构性缺陷导致幻觉，模型本质是token统计关联，缺乏对世界的真实理解。
  3. 实验表明，仅通过外部知识验证和拒绝回答机制才能有效消除幻觉，激励、提示等方法无效。

📝 摘要（中文）

OpenAI认为大型语言模型中的幻觉主要源于错误的评估激励，即奖励自信猜测而非认知谦逊。本文对此观点提出质疑。基于结构性幻觉的研究和使用许可Oracle的实验，我们认为幻觉并非优化失败，而是Transformer模型的架构必然性。Transformer不代表世界，而是模拟token之间的统计关联。其嵌入空间形成一种源于语言共现而非世界参照结构的伪本体。在本体边界条件（训练数据稀疏或不连贯的区域），模型必须插值虚构的延续以保持连贯性。任何激励机制都无法改变这种对模式补全的结构性依赖。我们的实验结果表明，只能通过外部真值验证和弃权模块消除幻觉，而不是通过改变激励、提示或微调。许可Oracle实现了完美的跨域弃权精度，因为它提供了Transformer所缺乏的基础。我们得出结论，幻觉是生成架构的结构属性，可靠的AI需要区分语言流畅性和认知责任的混合系统。

🔬 方法详解

问题定义：论文旨在反驳OpenAI关于大型语言模型（LLM）幻觉是由于奖励机制不当造成的观点。现有方法，如改进基准测试和奖励结构，被认为无法有效解决幻觉问题，因为它们忽略了幻觉的结构性根源。幻觉被认为是模型在缺乏足够信息时，为了保持文本连贯性而进行的虚构。

核心思路：论文的核心思路是认为Transformer模型的架构本身是导致幻觉的根本原因。Transformer模型通过学习token之间的统计关联来生成文本，而不是对世界进行建模。因此，在训练数据稀疏或不连贯的区域，模型会进行插值，产生虚构的内容，即幻觉。这种幻觉是结构性的，无法通过改变激励机制来消除。

技术框架：论文使用了一个名为“许可Oracle”的外部模块，该模块能够验证模型生成的文本的真实性。当模型无法确定答案的真实性时，许可Oracle会指示模型拒绝回答。这个框架包含两个主要部分：Transformer模型和许可Oracle。Transformer模型负责生成文本，许可Oracle负责验证文本的真实性并决定是否应该输出。

关键创新：论文最重要的技术创新点在于提出了幻觉的结构性解释，并证明了仅通过外部真值验证和弃权机制才能有效消除幻觉。与现有方法不同，该方法不依赖于改变模型的训练方式或激励机制，而是通过外部模块来提供 grounding。

关键设计：许可Oracle的具体实现细节未知，但其核心功能是判断Transformer模型生成的文本是否与真实世界相符。如果Oracle判断文本不真实，则模型选择不输出任何内容，从而避免幻觉。论文强调了Oracle在提供 grounding 方面的作用，这对于消除幻觉至关重要。

📊 实验亮点

实验结果表明，仅通过外部真值验证模块（许可Oracle）和弃权机制，就可以在多个领域实现完美的弃权精度，有效消除幻觉。这证明了幻觉的结构性本质，并强调了外部知识 grounding 在构建可靠AI系统中的重要性。传统的激励、提示和微调方法无法达到同样的效果。

🎯 应用场景

该研究成果可应用于构建更可靠的AI系统，尤其是在需要高准确性的领域，如医疗诊断、金融分析和法律咨询。通过结合语言模型和外部知识验证模块，可以有效减少幻觉，提高AI系统的可信度和实用性。未来的研究可以探索更有效的外部知识验证方法和更紧密的模型集成方式。

📄 摘要（原文）

OpenAI has recently argued that hallucinations in large language models result primarily from misaligned evaluation incentives that reward confident guessing rather than epistemic humility. On this view, hallucination is a contingent behavioral artifact, remediable through improved benchmarks and reward structures. In this paper, we challenge that interpretation. Drawing on previous work on structural hallucination and empirical experiments using a Licensing Oracle, we argue that hallucination is not an optimization failure but an architectural inevitability of the transformer model. Transformers do not represent the world; they model statistical associations among tokens. Their embedding spaces form a pseudo-ontology derived from linguistic co-occurrence rather than world-referential structure. At ontological boundary conditions - regions where training data is sparse or incoherent - the model necessarily interpolates fictional continuations in order to preserve coherence. No incentive mechanism can modify this structural dependence on pattern completion. Our empirical results demonstrate that hallucination can only be eliminated through external truth-validation and abstention modules, not through changes to incentives, prompting, or fine-tuning. The Licensing Oracle achieves perfect abstention precision across domains precisely because it supplies grounding that the transformer lacks. We conclude that hallucination is a structural property of generative architectures and that reliable AI requires hybrid systems that distinguish linguistic fluency from epistemic responsibility.