Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs

📄 arXiv: 2602.22698v1 📥 PDF

作者: Siyue Su, Jian Yang, Bo Li, Guanglin Niu

分类: cs.CL, cs.AI

发布日期: 2026-02-26

💡 一句话要点

KGT：通过专用实体令牌弥合LLM与知识图谱的粒度差异，实现高效知识图谱补全

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱补全 大型语言模型 实体表示 关系推理 token化 特征融合 解耦预测

📋 核心要点

  1. 现有知识图谱补全方法难以兼顾LLM的token粒度和知识图谱的实体完整性，导致性能受限。
  2. KGT框架通过引入专用实体token，融合结构和文本特征，实现高效的全空间知识图谱补全。
  3. 实验表明，KGT在多个基准测试中显著优于现有方法，验证了其有效性。

📝 摘要（中文）

利用大型语言模型（LLMs）进行知识图谱补全（KGC）具有很大的潜力，但受到一个根本性的粒度不匹配问题的阻碍。LLMs处理的是碎片化的token序列，而实体是知识图谱（KGs）场景中的基本单元。现有的方法通常将预测限制在有限的候选集内，或者通过池化多个token或将实体分解为固定长度的token序列来使实体与LLM的词汇表对齐，这些方法无法同时捕捉文本的语义意义和图的结构完整性。为了解决这个问题，我们提出了KGT，这是一个新颖的框架，它使用专用的实体token来实现高效的全空间预测。具体来说，我们首先引入专门的token化方法来构建专用实体token级别的特征表示。然后，我们通过关系引导的门控机制将预训练的结构和文本特征融合到这些统一的嵌入中，避免了从头开始训练。最后，我们通过利用独立的头部来实现解耦预测，以分离和组合语义和结构推理。实验结果表明，KGT在多个基准测试中始终优于最先进的方法。

🔬 方法详解

问题定义：知识图谱补全任务旨在预测知识图谱中缺失的关系三元组。现有方法在利用大型语言模型时，面临着LLM的token粒度与知识图谱实体粒度不匹配的问题。具体来说，现有方法要么限制预测范围到候选实体集合，要么将实体分解为token序列，无法充分利用LLM的语义理解能力和知识图谱的结构信息。

核心思路：KGT的核心思路是引入专用的实体token，将知识图谱中的实体表示为LLM可以直接处理的token。通过这种方式，可以避免实体被分割成多个token，从而保留了实体的完整语义信息。同时，KGT还设计了关系引导的门控机制，用于融合预训练的结构和文本特征，增强实体token的表示能力。

技术框架：KGT框架主要包含三个模块：Tokenization、Fusion和Decoupling。首先，Tokenization模块负责将知识图谱中的实体和关系转换为专用的token序列。然后，Fusion模块利用关系引导的门控机制，将预训练的结构和文本特征融合到实体token的表示中。最后，Decoupling模块使用独立的头部进行语义和结构推理，并将两者结合起来进行最终的预测。

关键创新：KGT最重要的技术创新点在于引入了专用的实体token，并设计了关系引导的门控机制。与现有方法相比，KGT能够更好地保留实体的语义完整性，并有效地融合结构和文本特征。此外，解耦预测的设计使得模型能够分别进行语义和结构推理，从而提高了预测的准确性。

关键设计：关系引导的门控机制利用关系嵌入来控制结构和文本特征的融合比例。具体来说，门控值由关系嵌入与结构和文本特征的相似度计算得到。损失函数包括交叉熵损失和对比学习损失，用于优化实体token的表示和关系预测的准确性。网络结构采用Transformer架构，并针对知识图谱补全任务进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KGT在多个知识图谱补全基准测试中取得了显著的性能提升。例如，在WN18RR数据集上，KGT的MRR指标比现有最佳方法提高了超过5%。在FB15k-237数据集上，KGT也取得了类似的提升。这些结果表明，KGT能够有效地利用LLM的语义理解能力和知识图谱的结构信息，从而提高知识图谱补全的准确性。

🎯 应用场景

KGT框架可应用于多种知识图谱相关的任务，例如知识图谱补全、实体链接、关系抽取等。该研究的实际价值在于提高了知识图谱补全的准确性和效率，有助于构建更完整、更准确的知识图谱，从而为智能问答、推荐系统、信息检索等应用提供更好的支持。未来，该研究可以进一步扩展到多语言知识图谱和动态知识图谱等领域。

📄 摘要（原文）

Leveraging Large Language Models (LLMs) for Knowledge Graph Completion (KGC) is promising but hindered by a fundamental granularity mismatch. LLMs operate on fragmented token sequences, whereas entities are the fundamental units in knowledge graphs (KGs) scenarios. Existing approaches typically constrain predictions to limited candidate sets or align entities with the LLM's vocabulary by pooling multiple tokens or decomposing entities into fixed-length token sequences, which fail to capture both the semantic meaning of the text and the structural integrity of the graph. To address this, we propose KGT, a novel framework that uses dedicated entity tokens to enable efficient, full-space prediction. Specifically, we first introduce specialized tokenization to construct feature representations at the level of dedicated entity tokens. We then fuse pre-trained structural and textual features into these unified embeddings via a relation-guided gating mechanism, avoiding training from scratch. Finally, we implement decoupled prediction by leveraging independent heads to separate and combine semantic and structural reasoning. Experimental results show that KGT consistently outperforms state-of-the-art methods across multiple benchmarks.