Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning

📄 arXiv: 2510.13909v1 📥 PDF

作者: Xingrui Zhuo, Jiapu Wang, Gongqing Wu, Zhongyuan Wang, Jichen Zhang, Shirui Pan, Xindong Wu

分类: cs.CL, cs.AI

发布日期: 2025-10-15

💡 一句话要点

提出知识推理语言模型KRLM，统一知识与语言以解决归纳知识图谱推理难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱推理 大型语言模型 归纳学习 知识推理语言模型 知识表示学习

📋 核心要点

  1. 现有基于LLM的KGR方法易受稀疏KG上下文影响，导致LLM知识扭曲，损害推理能力，且生成幻觉难以约束。
  2. 提出KRLM模型，通过KRL指令格式和tokenizer对齐LLM知识与KG表示，利用KRL注意力层协调LLM知识与KG上下文。
  3. 实验表明，KRLM在25个归纳KGR数据集上表现优异，无论是在零样本推理还是微调场景下，均优于现有方法。

📝 摘要（中文）

归纳知识图谱推理(KGR)旨在开放域知识图谱中发现包含未知实体和关系的事实，这对KGR模型理解不确定的KG组件提出了挑战。现有研究提出了知识图谱基础模型(KGFM)，学习跨KG的结构不变性来处理这种不确定性。最近，大型语言模型(LLM)展示了强大的开放域知识推理能力。因此，最新的研究集中在使用LLM的KGFM，将LLM知识与KG上下文相结合进行归纳KGR。然而，LLM的内在知识可能被稀疏的KG上下文所掩盖，导致LLM知识扭曲，这可能对模型推理造成不可逆转的损害。此外，现有的基于LLM的KGR方法仍然难以完全约束LLM中的生成幻觉，严重限制了推理结果的可信度。为了解决这些限制，我们提出了一种知识推理语言模型(KRLM)，它在整个KGR过程中实现了LLM知识和KG上下文的统一协调。具体来说，我们设计了一种知识推理语言(KRL)指令格式和一个KRL tokenizer，以将LLM知识与KG表示对齐。然后，我们提出了一种KRL注意力层，通过动态知识记忆机制协调内在的LLM知识与额外的KG上下文。最后，提出了一种结构感知的下一个实体预测器，严格地将推理结果限制在可信的知识领域内。在25个真实世界的归纳KGR数据集上的大量实验结果表明，所提出的KRLM在零样本推理和微调场景中都具有显著的优越性。

🔬 方法详解

问题定义：论文旨在解决归纳知识图谱推理(Inductive KGR)问题，即在包含未知实体和关系的开放域知识图谱中发现新的事实。现有基于LLM的KGR方法存在两个主要痛点：一是LLM的内在知识容易被稀疏的KG上下文所掩盖，导致知识扭曲；二是LLM容易产生幻觉，导致推理结果不可信。

核心思路：论文的核心思路是统一协调LLM的内在知识和KG上下文，从而避免知识扭曲和幻觉问题。具体而言，通过设计特定的指令格式和注意力机制，使得LLM能够有效地利用KG信息，同时保持自身的知识完整性。此外，通过结构感知的预测器，约束推理结果在可信的知识范围内。

技术框架：KRLM的整体框架包含以下几个主要模块： 1. KRL指令格式和Tokenizer：用于将KG信息转化为LLM可以理解的指令，并将LLM的输出转化为KG表示。 2. KRL注意力层：通过动态知识记忆机制，协调LLM的内在知识和KG上下文。 3. 结构感知下一个实体预测器：用于约束推理结果，避免幻觉。

关键创新：论文的关键创新在于以下几个方面： 1. KRL指令格式：专门为知识推理设计的指令格式，能够更好地引导LLM进行推理。 2. KRL注意力层：动态协调LLM知识和KG上下文，避免知识扭曲。 3. 结构感知预测器：通过KG结构约束推理结果，减少幻觉。

关键设计： 1. KRL指令格式：设计了特定的指令模板，包含实体、关系和推理目标等信息。 2. KRL注意力层：使用了动态知识记忆机制，根据KG上下文动态调整LLM的注意力权重。 3. 结构感知预测器：利用KG的结构信息，对LLM的预测结果进行过滤，只保留在KG中存在的实体。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，KRLM在25个真实世界的归纳KGR数据集上取得了显著的性能提升。在零样本推理和微调场景下，KRLM均优于现有的基于LLM的KGR方法。具体而言，KRLM在多个数据集上的MRR指标提升超过10%，验证了其有效性。

🎯 应用场景

KRLM模型可应用于智能问答、知识发现、推荐系统等领域。通过增强LLM的知识推理能力，可以提高问答系统的准确性和可靠性，发现知识图谱中潜在的关联关系，并为推荐系统提供更精准的推荐结果。该研究对于构建更智能、更可信的人工智能系统具有重要意义。

📄 摘要（原文）

Inductive Knowledge Graph Reasoning (KGR) aims to discover facts in open-domain KGs containing unknown entities and relations, which poses a challenge for KGR models in comprehending uncertain KG components. Existing studies have proposed Knowledge Graph Foundation Models (KGFMs) that learn structural invariances across KGs to handle this uncertainty. Recently, Large Language Models (LLMs) have demonstrated strong capabilities for open-domain knowledge reasoning. As a result, the latest research has focused on LLM-based KGFMs that integrate LLM knowledge with KG context for inductive KGR. However, the intrinsic knowledge of LLMs may be overshadowed by sparse KG context, leading to LLM knowledge distortion, which can cause irreversible damage to model reasoning. Moreover, existing LLM-based KGR methods still struggle to fully constrain generative hallucinations in LLMs, severely limiting the credibility of reasoning results. To address these limitations, we propose a Knowledge Reasoning Language Model (KRLM) that achieves unified coordination between LLM knowledge and KG context throughout the KGR process. Specifically, we design a Knowledge Reasoning Language (KRL) instruction format and a KRL tokenizer to align LLM knowledge with KG representations. Then, we propose a KRL attention layer that coordinates intrinsic LLM knowledge with additional KG context through a dynamic knowledge memory mechanism. Finally, a structure-aware next-entity predictor is proposed, which strictly constrains the reasoning results within a trustworthy knowledge domain. Extensive experimental results on 25 real-world inductive KGR datasets demonstrate the significant superiority of the proposed KRLM\footnote{Our source codes are available at https://anonymous.4open.science/r/KRLM-EA36 in both zero-shot reasoning and fine-tuning scenarios.