GS-Quant: Granular Semantic and Generative Structural Quantization for Knowledge Graph Completion

📄 arXiv: 2604.21649v1 📥 PDF

作者: Qizhuo Xie, Yunhui Liu, Yu Xing, Qianzi Hou, Xudong Jin, Tao Zheng, Tieke He

分类: cs.AI, cs.CL

发布日期: 2026-04-23

备注: ACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

GS-Quant：用于知识图谱补全的粒度语义和生成结构量化方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱补全 大型语言模型 量化 语义增强 结构重构 离散表示学习 图嵌入

📋 核心要点

  1. 现有基于量化的知识图谱补全方法将量化视为扁平的数值压缩，导致语义纠缠的代码，无法有效利用LLM的推理能力。
  2. GS-Quant通过粒度语义增强和生成结构重构，为知识图谱实体生成语义连贯且结构分层的离散代码，模拟人类由粗到精的推理过程。
  3. 实验结果表明，GS-Quant显著优于现有的基于文本和基于嵌入的基线方法，证明了其在知识图谱补全任务中的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在知识图谱补全（KGC）方面展现出巨大潜力，但弥合连续图嵌入和离散LLM tokens之间的模态差距仍然是一个关键挑战。虽然最近基于量化的方法试图对齐这些模态，但它们通常将量化视为扁平的数值压缩，导致语义纠缠的代码，无法反映人类推理的层次结构。本文提出了GS-Quant，一种新颖的框架，为KG实体生成语义连贯且结构分层的离散代码。与先前方法不同，GS-Quant基于实体表示应遵循语言由粗到精的逻辑这一洞察。我们引入了一个粒度语义增强模块，将层次知识注入到码本中，确保早期代码捕获全局语义类别，而后期代码细化特定属性。此外，生成结构重构模块对代码序列施加因果依赖关系，将独立的离散单元转换为结构化的语义描述符。通过使用这些学习到的代码扩展LLM词汇表，我们使模型能够以与自然语言生成同构的方式对图结构进行推理。实验结果表明，GS-Quant显著优于现有的基于文本和基于嵌入的基线。

🔬 方法详解

问题定义：知识图谱补全（KGC）旨在预测知识图谱中缺失的关系三元组。现有方法难以有效桥接连续图嵌入和离散LLM tokens之间的模态鸿沟。基于量化的方法虽然尝试对齐模态，但通常将量化视为扁平的数值压缩，导致语义纠缠的代码，无法有效利用LLM的推理能力，阻碍了模型对知识图谱的深层理解和推理。

核心思路：GS-Quant的核心思路是模拟人类由粗到精的推理过程，为知识图谱实体生成语义连贯且结构分层的离散代码。通过将层次知识注入码本，并对代码序列施加因果依赖关系，将独立的离散单元转换为结构化的语义描述符，从而更好地利用LLM的推理能力。

技术框架：GS-Quant框架主要包含两个模块：粒度语义增强模块（Granular Semantic Enhancement）和生成结构重构模块（Generative Structural Reconstruction）。首先，粒度语义增强模块将层次知识注入码本，确保早期代码捕获全局语义类别，而后期代码细化特定属性。然后，生成结构重构模块对代码序列施加因果依赖关系，将独立的离散单元转换为结构化的语义描述符。最后，使用这些学习到的代码扩展LLM词汇表，使模型能够以与自然语言生成同构的方式对图结构进行推理。

关键创新：GS-Quant的关键创新在于其语义感知的量化方法，它不同于传统的扁平数值压缩，而是通过粒度语义增强和生成结构重构，生成语义连贯且结构分层的离散代码。这种方法更好地模拟了人类的推理过程，并能有效利用LLM的推理能力。

关键设计：粒度语义增强模块的关键设计在于如何将层次知识有效地注入码本。具体实现细节未知，但推测可能使用了某种层次聚类或知识图谱嵌入技术。生成结构重构模块的关键设计在于如何对代码序列施加因果依赖关系，具体实现细节未知，但推测可能使用了某种自回归模型或Transformer结构。损失函数的设计也至关重要，需要同时考虑语义一致性和结构一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GS-Quant在知识图谱补全任务中显著优于现有的基于文本和基于嵌入的基线方法。具体的性能数据和提升幅度在论文中给出，但摘要中未明确提及。该结果证明了GS-Quant在知识图谱补全任务中的有效性，并验证了其语义感知的量化方法的优越性。

🎯 应用场景

GS-Quant在知识图谱补全领域具有广泛的应用前景，可以用于提升问答系统、推荐系统和信息检索系统的性能。通过将知识图谱信息有效地融入大型语言模型，GS-Quant可以帮助这些系统更好地理解用户意图，并提供更准确、更相关的答案和推荐。此外，该方法还可以应用于知识图谱的构建和维护，例如自动补全缺失的关系三元组，从而提高知识图谱的完整性和准确性。

📄 摘要（原文）

Large Language Models (LLMs) have shown immense potential in Knowledge Graph Completion (KGC), yet bridging the modality gap between continuous graph embeddings and discrete LLM tokens remains a critical challenge. While recent quantization-based approaches attempt to align these modalities, they typically treat quantization as flat numerical compression, resulting in semantically entangled codes that fail to mirror the hierarchical nature of human reasoning. In this paper, we propose GS-Quant, a novel framework that generates semantically coherent and structurally stratified discrete codes for KG entities. Unlike prior methods, GS-Quant is grounded in the insight that entity representations should follow a linguistic coarse-to-fine logic. We introduce a Granular Semantic Enhancement module that injects hierarchical knowledge into the codebook, ensuring that earlier codes capture global semantic categories while later codes refine specific attributes. Furthermore, a Generative Structural Reconstruction module imposes causal dependencies on the code sequence, transforming independent discrete units into structured semantic descriptors. By expanding the LLM vocabulary with these learned codes, we enable the model to reason over graph structures isomorphically to natural language generation. Experimental results demonstrate that GS-Quant significantly outperforms existing text-based and embedding-based baselines. Our code is publicly available at https://github.com/mikumifa/GS-Quant.