Fact Grounded Attention: Eliminating Hallucination in Large Language Models Through Attention Level Knowledge Integration

📄 arXiv: 2509.25252v2 📥 PDF

作者: Aayush Gupta

分类: cs.AI

发布日期: 2025-09-27 (更新: 2025-10-02)

备注: 15 pages, 3 figures, 4 tables. Code and dataset available at https://github.com/ayushgupta4897/FGA

💡 一句话要点

提出Fact Grounded Attention，通过知识注入注意力机制消除大语言模型的事实幻觉。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 事实幻觉 注意力机制 知识注入 Transformer

📋 核心要点

  1. 现有大语言模型存在事实幻觉问题，即自信地生成不真实的信息，严重影响了模型的可靠性。
  2. Fact Grounded Attention (FGA) 通过在注意力机制中注入可验证知识，直接干预Transformer的注意力分数，避免模型生成与知识库冲突的信息。
  3. 实验表明，FGA能显著提高模型在技术查询上的准确率，从6.3%提升到99.7%，且知识更新速度快，无需耗时重新训练。

📝 摘要（中文）

大型语言模型（LLM）在自然语言处理领域取得了显著进展，但仍存在自信地产生虚假信息的“幻觉”问题。本文提出了一种新颖的架构修改方法，名为Fact Grounded Attention (FGA)，旨在通过将可验证的知识直接注入到注意力机制中，将不可靠的语言模型转变为确定性的事实陈述者。与在生成后修补幻觉或预先添加检索文本的现有方法不同，FGA直接干预Transformer的数学核心——pre-softmax注意力分数，从而创建一个在知识库中存在事实时不会产生幻觉的模型。在涵盖智能手机、笔记本电脑和电动汽车的1107个技术查询上的实验表明，FGA将Llama 3.2的准确率从6.3%提高到99.7%。更重要的是，知识更新在不到一秒的时间内完成，无需重新训练，而参数编辑方法则需要数小时。FGA不仅减少了幻觉，而且完全消除了可验证事实的幻觉，标志着神经语言生成从概率近似到确定性精度的根本转变。

🔬 方法详解

问题定义：大语言模型（LLM）在生成文本时，经常会产生与事实不符的内容，即“幻觉”。现有方法主要集中在生成后对幻觉进行修补，或者在生成前将相关知识添加到输入文本中。这些方法要么效率较低，要么无法从根本上解决幻觉问题。

核心思路：FGA的核心思路是在Transformer的注意力机制中直接注入可验证的知识，使得模型在计算注意力权重时能够考虑到知识库中的事实。通过这种方式，模型在生成文本时会受到事实的约束，从而避免产生幻觉。

技术框架：FGA的核心在于修改Transformer的注意力机制。具体来说，在计算softmax之前的注意力分数时，FGA会引入一个知识融合模块，该模块根据知识库中的事实对注意力分数进行调整。如果知识库中存在与当前上下文相关的事实，则该模块会增强与这些事实相关的注意力权重，抑制与不相关事实相关的注意力权重。

关键创新：FGA最重要的创新点在于它直接在注意力层面进行知识融合，而不是在生成后进行修补或在生成前添加知识。这种方法能够从根本上避免幻觉的产生，因为模型在生成文本的每一步都会受到事实的约束。

关键设计：FGA的关键设计包括知识融合模块的具体实现方式。一种可能的实现方式是使用一个可学习的权重矩阵，该矩阵根据知识库中的事实对注意力分数进行加权。此外，损失函数的设计也至关重要，需要确保模型能够有效地学习到知识融合的规则。

📊 实验亮点

实验结果表明，FGA能够显著提高大语言模型在技术查询上的准确率。在包含1107个技术查询的测试集上，FGA将Llama 3.2的准确率从6.3%提升到99.7%，实现了近乎完美的准确率。此外，FGA的知识更新速度非常快，可以在不到一秒的时间内完成，无需重新训练模型，相比参数编辑方法具有显著优势。

🎯 应用场景

Fact Grounded Attention (FGA) 技术可广泛应用于需要高度事实准确性的场景，例如智能客服、知识问答系统、自动报告生成等。通过消除大语言模型的事实幻觉，FGA能够提高这些应用的可信度和可靠性，并为用户提供更准确的信息。该技术还有潜力应用于教育、医疗等领域，辅助专业人士进行决策。

📄 摘要（原文）

"The greatest enemy of knowledge is not ignorance, it is the illusion of knowledge." Large Language Models have conquered natural language but remain prisoners of their own probabilistic nature--confidently hallucinating facts they never truly knew. We present Fact Grounded Attention (FGA), a novel architectural modification that transforms unreliable language models into deterministic truth tellers by injecting verifiable knowledge directly into the attention mechanism. Unlike existing approaches that patch hallucinations after generation or prepend retrieved text, FGA intervenes at the mathematical heart of the transformer--the pre-softmax attention scores--creating a model that cannot hallucinate when facts exist in its knowledge base. Our experiments across 1,107 technical queries spanning smartphones, laptops, and electric vehicles demonstrate a transformation from 6.3% accuracy in vanilla Llama 3.2 to 99.7% accuracy with FGA. More critically, knowledge updates occur in under one second without retraining, compared to hours for parameter editing approaches. FGA doesn't just reduce hallucination--it eliminates it entirely for verifiable facts, marking a fundamental shift from probabilistic approximation to deterministic precision in neural language generation.