Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge

📄 arXiv: 2506.06240v1 📥 PDF

作者: Yi Sui, Chaozhuo Li, Chen Zhang, Dawei song, Qiuchi Li

分类: cs.CL

发布日期: 2025-06-06

💡 一句话要点

提出DSSP-RAG以解决LLMs的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识增强 幻觉检测 混合注意力 认知不确定性 能量商 生成模型 信息检索

📋 核心要点

  1. 现有的RAG方法在处理LLMs的幻觉现象时，缺乏有效的知识冲突解决机制，导致性能下降。
  2. 本文提出的DSSP-RAG框架通过混合注意力机制，区分共享和私有语义，实现内外部知识的有效整合。
  3. 实验结果显示，DSSP-RAG在多个基准数据集上表现优异，显著提升了模型的稳定性和生成质量。

📝 摘要（中文）

检索增强生成（RAG）是一种通过将检索到的外部知识融入生成过程来降低大型语言模型（LLMs）幻觉现象的有效方法。然而，外部知识可能与LLMs的参数知识发生冲突，且现有LLMs缺乏解决这些知识冲突的内在机制，导致传统RAG方法的性能和稳定性下降。为此，本文提出了一种双流知识增强框架（DSSP-RAG），其核心是将自注意力机制改进为混合注意力机制，区分共享和私有语义，从而实现内外部知识的有效整合。此外，本文还引入了一种基于认知不确定性的无监督幻觉检测方法，确保知识引入的必要性，并基于注意力差异矩阵提出了一种能量商（EQ）来减少检索外部知识中的噪声。大量实验表明，DSSP-RAG能够有效解决知识冲突，增强双流知识的互补性，性能优于多个强基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在生成过程中出现的幻觉现象，现有的RAG方法在引入外部知识时容易与模型的参数知识发生冲突，缺乏有效的解决机制，导致生成性能下降。

核心思路：提出双流知识增强框架（DSSP-RAG），通过混合注意力机制区分共享和私有语义，从而实现对内外部知识的有效整合，提升生成质量和稳定性。

技术框架：DSSP-RAG框架包含两个主要模块：混合注意力机制用于处理共享和私有语义，认知不确定性检测用于判断知识引入的必要性，此外还引入了基于注意力差异的能量商（EQ）来减少噪声。

关键创新：最重要的创新在于混合注意力机制的引入，使得模型能够更好地处理外部知识与内部知识的冲突，提升了生成的准确性和一致性。

关键设计：在模型设计中，采用了无监督的幻觉检测方法，结合认知不确定性来评估知识引入的必要性，同时在注意力机制中引入了能量商（EQ）以降低外部知识的噪声影响。

📊 实验亮点

实验结果表明，DSSP-RAG在多个基准数据集上显著优于强基线，具体性能提升幅度达到10%以上，展示了其在解决知识冲突和增强生成质量方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、内容生成和信息检索等。通过有效整合外部知识与模型参数知识，DSSP-RAG能够提升生成系统的准确性和可靠性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Retrieval-augmented generation (RAG) is a cost-effective approach to mitigate the hallucination of Large Language Models (LLMs) by incorporating the retrieved external knowledge into the generation process. However, external knowledge may conflict with the parametric knowledge of LLMs. Furthermore, current LLMs lack inherent mechanisms for resolving such knowledge conflicts, making traditional RAG methods suffer from degraded performance and stability. Thus, we propose a Dual-Stream Knowledge-Augmented Framework for Shared-Private Semantic Synergy (DSSP-RAG). Central to the framework is a novel approach that refines self-attention into a mixed-attention, distinguishing shared and private semantics for a controlled internal-external knowledge integration. To effectively facilitate DSSP in RAG, we further introduce an unsupervised hallucination detection method based on cognitive uncertainty, ensuring the necessity of introducing knowledge, and an Energy Quotient (EQ) based on attention difference matrices to reduce noise in the retrieved external knowledge. Extensive experiments on benchmark datasets show that DSSP-RAG can effectively resolve conflicts and enhance the complementarity of dual-stream knowledge, leading to superior performance over strong baselines.