Hallucination is Inevitable for LLMs with the Open World Assumption

📄 arXiv: 2510.05116v1 📥 PDF

作者: Bowen Xu

分类: cs.CL, cs.AI

发布日期: 2025-09-29

💡 一句话要点

重新定义LLM幻觉：开放世界假设下，幻觉是大型语言模型泛化问题的必然结果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉 开放世界假设 泛化问题 通用人工智能

📋 核心要点

  1. 现有方法将LLM幻觉视为缺陷并尝试最小化，或从理论上论证其不可避免性，但都未能充分考虑AGI的需求。
  2. 论文将幻觉重新定义为泛化问题在开放世界假设下的必然结果，并提出了幻觉的分类方法。
  3. 研究表明，在开放世界中，某些类型的幻觉是不可避免的，因此需要容忍并使其与人类智能相兼容。

📝 摘要（中文）

大型语言模型（LLMs）展现了卓越的语言能力，但也经常产生不准确或捏造的输出，通常被称为“幻觉”。工程方法通常将幻觉视为需要最小化的缺陷，而形式分析则认为其在理论上是不可避免的。然而，当考虑通用人工智能（AGI）所需的条件时，这两种观点都不完整。本文将“幻觉”重新定义为泛化问题的一种表现。在封闭世界假设下，训练和测试分布是一致的，幻觉可能会得到缓解。然而，在开放世界假设下，环境是无界的，幻觉变得不可避免。本文进一步发展了幻觉的分类，区分了在开放世界条件下可能纠正的和看似不可避免的情况。在此基础上，它建议不应仅仅将“幻觉”视为一种工程缺陷，而应将其视为一种结构特征，需要容忍并使其与人类智能相兼容。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中普遍存在的“幻觉”问题，即模型生成不准确或捏造的输出。现有方法主要将其视为缺陷并尝试通过工程手段消除，或者从理论上论证其不可避免性，但缺乏对幻觉本质的深入理解，尤其是在开放世界假设下。现有方法未能充分考虑通用人工智能（AGI）对模型泛化能力的要求。

核心思路：论文的核心思路是将LLM的幻觉现象视为模型在开放世界假设下进行泛化时的一种必然结果。开放世界假设意味着模型需要处理训练数据之外的未知信息，这使得完全消除幻觉变得非常困难。因此，论文提出应该重新审视幻觉，将其视为一种结构性特征，而不是单纯的缺陷。

技术框架：论文没有提出具体的模型架构或训练方法，而是侧重于对幻觉现象进行理论分析和分类。其框架主要包括以下几个部分：1）区分封闭世界和开放世界假设；2）将幻觉定义为泛化问题的一种表现；3）对幻觉进行分类，区分可纠正和不可避免的幻觉；4）提出将幻觉视为结构性特征的观点。

关键创新：论文最重要的创新点在于其对LLM幻觉的重新定义。它不再将幻觉简单地视为缺陷，而是将其视为开放世界假设下泛化问题的必然结果。这种观点转变有助于我们更理性地看待LLM的局限性，并探索更有效的利用LLM的方法。此外，论文提出的幻觉分类方法也为后续研究提供了参考。

关键设计：论文没有涉及具体的模型设计或参数设置。其主要贡献在于概念框架的构建和理论分析。论文的关键在于对封闭世界和开放世界假设的区分，以及对幻觉类型的划分。这些概念为理解和处理LLM的幻觉问题提供了新的视角。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文的核心贡献在于对LLM幻觉的重新定义，将其视为开放世界假设下泛化问题的必然结果。论文提出了幻觉的分类方法，区分了可纠正和不可避免的幻觉，为后续研究提供了新的视角。虽然没有提供具体的性能数据，但其理论分析对理解和处理LLM的幻觉问题具有重要意义。

🎯 应用场景

该研究成果可应用于提升大型语言模型在开放环境下的可靠性和可信度。通过理解幻觉的本质和分类，可以设计更有效的缓解策略，例如开发能够识别和纠正幻觉的机制。此外，该研究也为开发更安全、更可靠的通用人工智能系统提供了理论基础。

📄 摘要（原文）

Large Language Models (LLMs) exhibit impressive linguistic competence but also produce inaccurate or fabricated outputs, often called hallucinations''. Engineering approaches usually regard hallucination as a defect to be minimized, while formal analyses have argued for its theoretical inevitability. Yet both perspectives remain incomplete when considering the conditions required for artificial general intelligence (AGI). This paper reframeshallucination'' as a manifestation of the generalization problem. Under the Closed World assumption, where training and test distributions are consistent, hallucinations may be mitigated. Under the Open World assumption, however, where the environment is unbounded, hallucinations become inevitable. This paper further develops a classification of hallucination, distinguishing cases that may be corrected from those that appear unavoidable under open-world conditions. On this basis, it suggests that ``hallucination'' should be approached not merely as an engineering defect but as a structural feature to be tolerated and made compatible with human intelligence.