Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs

📄 arXiv: 2602.22698 📥 PDF

作者: Siyue Su, Jian Yang, Bo Li, Guanglin Niu

分类: cs.CL, cs.AI

发布日期: 2026-02-28

💡 一句话要点

提出KGT框架以解决大语言模型与知识图谱间的粒度不匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 大型语言模型 知识图谱补全 特征融合 解耦预测 实体标记

📋 核心要点

  1. 现有方法在将大型语言模型应用于知识图谱补全时，面临着粒度不匹配的问题，导致无法有效捕捉语义和结构信息。
  2. 论文提出KGT框架，通过专用实体标记进行特征表示，融合结构与文本特征，最终实现解耦预测以提高模型性能。
  3. 实验结果显示，KGT在多个基准测试中表现优异，超越了当前最先进的方法，验证了其有效性和实用性。

📝 摘要（中文）

利用大型语言模型（LLMs）进行知识图谱补全（KGC）具有潜力，但受到基本粒度不匹配的限制。LLMs处理的是碎片化的标记序列，而知识图谱中的实体是基本单位。现有方法通常将预测限制在有限的候选集，或通过池化多个标记或将实体分解为固定长度的标记序列来与LLM的词汇对齐，这无法同时捕捉文本的语义意义和图的结构完整性。为此，我们提出了KGT，一个新颖的框架，使用专用实体标记来实现高效的全空间预测。具体而言，我们首先引入专门的标记化方法，以构建基于专用实体标记的特征表示。然后，通过关系引导的门控机制将预训练的结构和文本特征融合到这些统一的嵌入中，避免从头开始训练。最后，我们通过利用独立的头部实现解耦预测，以分离和组合语义和结构推理。实验结果表明，KGT在多个基准测试中始终优于最先进的方法。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型与知识图谱之间的粒度不匹配，现有方法无法有效捕捉文本的语义和图的结构完整性。

核心思路：论文的核心解决思路是引入专用实体标记进行特征表示，并通过关系引导的门控机制融合结构和文本特征，从而实现高效的全空间预测。

技术框架：整体架构包括三个主要模块：专用标记化模块、特征融合模块和解耦预测模块。专用标记化模块构建基于实体的特征表示，特征融合模块将结构和文本特征结合，解耦预测模块实现语义和结构推理的分离与组合。

关键创新：最重要的技术创新点在于使用专用实体标记和关系引导的门控机制，这与现有方法通过固定长度标记序列或候选集限制的方式有本质区别。

关键设计：关键设计包括专用标记化的参数设置、门控机制的实现细节，以及解耦预测中独立头部的结构设计，确保模型能够有效进行语义和结构推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KGT在多个基准测试中均表现优异，相较于最先进的方法，性能提升幅度达到XX%，验证了其在知识图谱补全任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、推荐系统和知识图谱构建等。通过提高知识图谱补全的准确性和效率，KGT框架能够在实际应用中提供更为精准的知识推理和信息检索，具有重要的实际价值和未来影响。

📄 摘要（原文）

Leveraging Large Language Models (LLMs) for Knowledge Graph Completion (KGC) is promising but hindered by a fundamental granularity mismatch. LLMs operate on fragmented token sequences, whereas entities are the fundamental units in knowledge graphs (KGs) scenarios. Existing approaches typically constrain predictions to limited candidate sets or align entities with the LLM's vocabulary by pooling multiple tokens or decomposing entities into fixed-length token sequences, which fail to capture both the semantic meaning of the text and the structural integrity of the graph. To address this, we propose KGT, a novel framework that uses dedicated entity tokens to enable efficient, full-space prediction. Specifically, we first introduce specialized tokenization to construct feature representations at the level of dedicated entity tokens. We then fuse pre-trained structural and textual features into these unified embeddings via a relation-guided gating mechanism, avoiding training from scratch. Finally, we implement decoupled prediction by leveraging independent heads to separate and combine semantic and structural reasoning. Experimental results show that KGT consistently outperforms state-of-the-art methods across multiple benchmarks.