Hallucination is Inevitable for LLMs with the Open World Assumption

📄 arXiv: 2510.05116v1 📥 PDF

作者: Bowen Xu

分类: cs.CL, cs.AI

发布日期: 2025-09-29

💡 一句话要点

重新审视大语言模型幻觉现象：开放世界假设下的必然产物

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉现象 开放世界假设 泛化问题 通用人工智能

📋 核心要点

  1. 现有方法将LLM幻觉视为缺陷并试图最小化，但忽略了开放世界假设下幻觉的必然性。
  2. 论文将幻觉重新定义为泛化问题在开放世界中的体现，并提出了幻觉的分类方法。
  3. 研究表明，在开放世界中，部分幻觉是不可避免的，应被视为LLM的结构性特征。

📝 摘要（中文）

大型语言模型（LLM）展现了卓越的语言能力，但同时也产生不准确或捏造的输出，通常被称为“幻觉”。工程方法通常将幻觉视为需要最小化的缺陷，而形式分析则认为其在理论上是不可避免的。然而，当考虑通用人工智能（AGI）所需的条件时，这两种观点都不完整。本文将“幻觉”重新定义为泛化问题的体现。在封闭世界假设下，训练和测试分布一致，幻觉可能会得到缓解。然而，在开放世界假设下，环境是无界的，幻觉变得不可避免。本文进一步发展了幻觉的分类，区分了在开放世界条件下可以纠正的和看似不可避免的情况。在此基础上，它建议不应仅仅将“幻觉”视为工程缺陷，而应将其视为一种结构特征，需要容忍并使其与人类智能兼容。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在开放世界假设下产生幻觉的问题。现有方法通常将幻觉视为需要消除的缺陷，但未能充分理解其产生的根本原因，以及在开放世界中是否可以完全避免。现有方法的痛点在于，它们未能区分不同类型的幻觉，也未能认识到某些幻觉可能是LLM泛化能力的必然结果。

核心思路：论文的核心思路是将LLM的幻觉现象置于开放世界假设下进行重新审视。认为在封闭世界假设下，训练和测试数据分布一致，幻觉可以被缓解。但在开放世界假设下，LLM面临着无限的环境和未知的信息，产生幻觉是不可避免的。因此，应该将幻觉视为LLM的一种结构性特征，而不是单纯的缺陷。

技术框架：论文没有提出具体的算法框架，而是侧重于对幻觉现象进行理论分析和分类。其主要框架包括：1）区分封闭世界和开放世界假设；2）将幻觉定义为泛化问题的一种表现形式；3）对幻觉进行分类，区分可纠正的和不可避免的幻觉；4）提出将幻觉视为LLM结构性特征的观点。

关键创新：论文最重要的创新点在于，它将LLM的幻觉现象置于开放世界假设下进行分析，并提出了幻觉的分类方法。这种分析框架有助于更深入地理解幻觉产生的根本原因，并为未来的研究方向提供了新的视角。与现有方法将幻觉视为缺陷不同，论文认为某些幻觉是LLM泛化能力的必然结果，应该被容忍和适应。

关键设计：论文没有涉及具体的模型设计或参数设置。其主要贡献在于概念框架的提出和理论分析。论文的关键在于对“开放世界假设”和“封闭世界假设”的区分，以及基于此对幻觉现象的重新定义和分类。

📊 实验亮点

论文的主要亮点在于提出了一个关于LLM幻觉的新视角，即在开放世界假设下，幻觉是不可避免的。论文还对幻觉进行了分类，区分了可纠正和不可避免的幻觉，为未来的研究提供了新的方向。虽然论文没有提供具体的实验数据，但其理论分析具有重要的指导意义。

🎯 应用场景

该研究成果可应用于指导LLM的开发和应用，帮助开发者更好地理解和控制LLM的输出，并设计更鲁棒、更可靠的AI系统。此外，该研究还有助于推动对通用人工智能（AGI）的更深入理解，为未来AGI系统的设计提供理论基础。

📄 摘要（原文）

Large Language Models (LLMs) exhibit impressive linguistic competence but also produce inaccurate or fabricated outputs, often called hallucinations''. Engineering approaches usually regard hallucination as a defect to be minimized, while formal analyses have argued for its theoretical inevitability. Yet both perspectives remain incomplete when considering the conditions required for artificial general intelligence (AGI). This paper reframeshallucination'' as a manifestation of the generalization problem. Under the Closed World assumption, where training and test distributions are consistent, hallucinations may be mitigated. Under the Open World assumption, however, where the environment is unbounded, hallucinations become inevitable. This paper further develops a classification of hallucination, distinguishing cases that may be corrected from those that appear unavoidable under open-world conditions. On this basis, it suggests that ``hallucination'' should be approached not merely as an engineering defect but as a structural feature to be tolerated and made compatible with human intelligence.