Relational Linearity is a Predictor of Hallucinations

📄 arXiv: 2601.11429v1 📥 PDF

作者: Yuetian Lu, Yihong Liu, Hinrich Schütze

分类: cs.CL, cs.AI

发布日期: 2026-01-16

备注: 11 pages, 4 figures, 8 tables

💡 一句话要点

提出关系线性性预测模型幻觉现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 幻觉现象 关系线性性 知识表示 自我评估 合成实体 自然语言处理

📋 核心要点

  1. 现有大型语言模型在处理未知实体时，容易产生幻觉，导致回答不准确。
  2. 本文提出通过分析关系线性性来预测模型的幻觉现象，认为线性关系的抽象存储影响知识自我评估能力。
  3. 实验表明，关系线性性与幻觉率之间存在显著相关性，为改善模型的知识表示提供了新的思路。

📝 摘要（中文）

幻觉是大型语言模型（LLMs）中的一个主要失败模式。本文关注于模型对未知合成实体的回答幻觉现象。研究发现，中等规模的模型如Gemma-7B-IT经常出现幻觉，难以识别幻觉事实并非其知识的一部分。我们假设关系的线性性是导致幻觉的重要因素，线性关系更抽象，难以自我评估。为验证这一假设，我们创建了SyntHal数据集，包含6000个合成实体和六种关系。实验结果显示，关系线性性与幻觉率之间存在强相关性（r在[0.78, 0.82]之间），为管理幻觉行为提供了证据，并指明了改进LLMs知识表示的新研究方向。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对未知合成实体时产生的幻觉现象。现有方法未能有效识别幻觉事实，导致回答不准确。

核心思路：论文提出关系线性性作为预测幻觉现象的关键因素，认为线性关系的抽象存储使得模型难以自我评估其知识的准确性。

技术框架：研究中创建了SyntHal数据集，包含6000个合成实体和六种关系。通过对四个模型的实验，评估每种关系的幻觉率，并测量其线性性，使用Δcos进行量化。

关键创新：最重要的创新在于发现关系线性性与幻觉率之间的强相关性（r在[0.78, 0.82]之间），为理解模型的知识存储机制提供了新的视角。

关键设计：在实验中，使用了Δcos作为线性性度量，设计了多种关系类型以全面评估模型的幻觉表现，确保了实验的系统性和可靠性。

📊 实验亮点

实验结果显示，关系线性性与幻觉率之间存在强相关性，相关系数在0.78到0.82之间。这一发现为理解和管理大型语言模型的幻觉行为提供了重要依据，并指引了未来的研究方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和知识图谱构建等。通过改善模型对知识的表示和自我评估能力，可以显著提升模型在实际应用中的准确性和可靠性，进而推动智能助手和自动化系统的发展。

📄 摘要（原文）

Hallucination is a central failure mode in large language models (LLMs). We focus on hallucinations of answers to questions like: "Which instrument did Glenn Gould play?", but we ask these questions for synthetic entities that are unknown to the model. Surprisingly, we find that medium-size models like Gemma-7B-IT frequently hallucinate, i.e., they have difficulty recognizing that the hallucinated fact is not part of their knowledge. We hypothesize that an important factor in causing these hallucinations is the linearity of the relation: linear relations tend to be stored more abstractly, making it difficult for the LLM to assess its knowledge; the facts of nonlinear relations tend to be stored more directly, making knowledge assessment easier. To investigate this hypothesis, we create SyntHal, a dataset of 6000 synthetic entities for six relations. In our experiments with four models, we determine, for each relation, the hallucination rate on SyntHal and also measure its linearity, using $Δ\cos$. We find a strong correlation ($r \in [.78,.82]$) between relational linearity and hallucination rate, providing evidence for our hypothesis that the underlying storage of triples of a relation is a factor in how well a model can self-assess its knowledge. This finding has implications for how to manage hallucination behavior and suggests new research directions for improving the representation of factual knowledge in LLMs.