Explainable Knowledge Graph Retrieval-Augmented Generation (KG-RAG) with KG-SMILE

📄 arXiv: 2509.03626v1 📥 PDF

作者: Zahra Zehtabi Sabeti Moghaddam, Zeinab Dehghani, Maneeha Rani, Koorosh Aslansefat, Bhupesh Kumar Mishra, Rameez Raja Kureshi, Dhavalkumar Thakker

分类: cs.AI

发布日期: 2025-09-03

💡 一句话要点

提出KG-SMILE框架，提升知识图谱RAG的可解释性，解决幻觉问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 检索增强生成 可解释性 大型语言模型 扰动分析

📋 核心要点

  1. 现有RAG方法依赖数据质量，缺乏透明度，难以解释其决策过程，尤其在医疗等敏感领域存在风险。
  2. KG-SMILE通过扰动输入知识图谱，分析输出变化，从而识别关键实体和关系，提升RAG的可解释性。
  3. 实验表明，KG-SMILE能够生成稳定且符合人类直觉的解释，在模型有效性和可解释性之间取得平衡。

📝 摘要（中文）

大型语言模型（LLM）在生成式人工智能领域取得了显著进展，但仍存在幻觉和不可验证声明的问题，限制了其在敏感领域的可靠性。检索增强生成（RAG）通过将输出建立在外部知识的基础上，提高了准确性，尤其是在医疗保健等精度至关重要的领域。然而，RAG仍然是不透明的，本质上是一个黑盒，严重依赖于数据质量。我们开发了一种与方法无关的、基于扰动的框架，该框架为使用SMILE的图RAG提供token和组件级别的互操作性，并将其命名为知识图谱（KG）-SMILE。通过应用受控扰动、计算相似性以及训练加权线性代理，KG-SMILE识别对生成输出影响最大的图实体和关系，从而使RAG更加透明。我们使用全面的归因指标（包括保真度、忠实度、一致性、稳定性和准确性）评估KG-SMILE。我们的研究结果表明，KG-SMILE产生稳定、与人类对齐的解释，证明了其平衡模型有效性和可解释性的能力，从而在机器学习技术中培养更大的透明度和信任。

🔬 方法详解

问题定义：论文旨在解决知识图谱增强的检索增强生成（KG-RAG）方法中缺乏可解释性的问题。现有的KG-RAG方法通常被视为黑盒，难以理解模型生成结果的依据，这限制了其在需要高度信任和透明度的应用场景中的应用，例如医疗健康领域。现有方法的痛点在于无法确定知识图谱中哪些实体和关系对最终生成结果影响最大，从而难以调试和优化模型。

核心思路：论文的核心思路是通过对输入知识图谱进行受控的扰动，并观察生成结果的变化，来推断知识图谱中不同实体和关系的重要性。通过分析扰动前后生成结果的差异，可以识别出对生成结果影响最大的实体和关系，从而提供对模型决策过程的解释。这种方法的核心在于将可解释性问题转化为一个敏感性分析问题。

技术框架：KG-SMILE框架包含以下主要步骤： 1. 知识图谱编码：将知识图谱中的实体和关系编码为向量表示。 2. 扰动生成：对知识图谱的编码向量进行受控的扰动，生成多个扰动后的知识图谱。 3. RAG生成：使用原始知识图谱和扰动后的知识图谱分别进行RAG生成，得到对应的生成结果。 4. 相似度计算：计算原始生成结果和扰动后生成结果之间的相似度。 5. 重要性评估：基于相似度差异，评估知识图谱中不同实体和关系对生成结果的重要性。 6. 解释生成：根据重要性评估结果，生成对模型决策过程的解释。

关键创新：KG-SMILE的关键创新在于提出了一种与模型无关的、基于扰动的可解释性框架，可以应用于各种KG-RAG模型。与现有的可解释性方法相比，KG-SMILE不需要修改模型结构或训练过程，具有更好的通用性和易用性。此外，KG-SMILE能够提供token级别和组件级别的细粒度解释，从而更深入地理解模型的决策过程。

关键设计：KG-SMILE的关键设计包括： 1. 扰动策略：论文采用了多种扰动策略，例如随机噪声、对抗扰动等，以保证扰动的多样性和有效性。 2. 相似度度量：论文采用了多种相似度度量方法，例如余弦相似度、编辑距离等，以捕捉生成结果之间的不同类型的差异。 3. 重要性评估方法：论文采用了加权线性代理模型来学习实体和关系的重要性权重，并通过训练来优化权重，使得扰动后的生成结果与原始生成结果的相似度能够被准确预测。

📊 实验亮点

实验结果表明，KG-SMILE在保真度、忠实度、一致性、稳定性和准确性等多个指标上表现良好，能够生成稳定且符合人类直觉的解释。具体来说，KG-SMILE能够准确识别对生成结果影响最大的知识图谱实体和关系，并提供token级别的细粒度解释，从而显著提升了KG-RAG模型的可解释性。

🎯 应用场景

KG-SMILE可应用于医疗健康、金融等对准确性和可信度要求高的领域。例如，在医疗诊断中，KG-SMILE可以解释模型为何给出特定诊断结果，帮助医生验证和信任AI的建议。在金融风控中，可以解释模型为何拒绝某项贷款申请，提高决策的透明度。未来，该技术有望促进AI在更多敏感领域的应用，并提升用户对AI系统的信任。

📄 摘要（原文）

Generative AI, such as Large Language Models (LLMs), has achieved impressive progress but still produces hallucinations and unverifiable claims, limiting reliability in sensitive domains. Retrieval-Augmented Generation (RAG) improves accuracy by grounding outputs in external knowledge, especially in domains like healthcare, where precision is vital. However, RAG remains opaque and essentially a black box, heavily dependent on data quality. We developed a method-agnostic, perturbation-based framework that provides token and component-level interoperability for Graph RAG using SMILE and named it as Knowledge-Graph (KG)-SMILE. By applying controlled perturbations, computing similarities, and training weighted linear surrogates, KG-SMILE identifies the graph entities and relations most influential to generated outputs, thereby making RAG more transparent. We evaluate KG-SMILE using comprehensive attribution metrics, including fidelity, faithfulness, consistency, stability, and accuracy. Our findings show that KG-SMILE produces stable, human-aligned explanations, demonstrating its capacity to balance model effectiveness with interpretability and thereby fostering greater transparency and trust in machine learning technologies.