Protoknowledge Shapes Behaviour of LLMs in Downstream Tasks: Memorization and Generalization with Knowledge Graphs

📄 arXiv: 2505.15501v1 📥 PDF

作者: Federico Ranaldi, Andrea Zugarini, Leonardo Ranaldi, Fabio Massimo Zanzotto

分类: cs.CL, cs.AI

发布日期: 2025-05-21

💡 一句话要点

提出protoknowledge概念，分析LLM在下游任务中知识图谱的记忆与泛化行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识图谱 知识表示 知识泛化 Text-to-SPARQL 数据污染 Protoknowledge

📋 核心要点

  1. 现有LLM虽然能记忆大量token序列，但如何有效利用这些记忆进行知识泛化仍是挑战。
  2. 论文提出protoknowledge概念，将知识图谱编码的token序列内化过程形式化，并分类为词汇、层级和拓扑形式。
  3. 通过知识激活任务（KATs）测量protoknowledge，并分析其对Text-to-SPARQL任务的影响，验证了该方法的有效性。

📝 摘要（中文）

本文提出了protoknowledge的概念，用于形式化和衡量大型语言模型（LLM）在预训练期间如何内化编码知识图谱的token序列，以及在推理时如何利用这些序列。LLM已经展示了记忆大量token序列的能力，但一个核心问题是它们如何将这种记忆转化为可重用的知识并通过泛化来应用。本文将protoknowledge分为词汇、层级和拓扑形式，这些形式依赖于需要激活的知识类型。通过知识激活任务（KATs）来测量protoknowledge，并分析其一般属性，如语义偏差。进一步研究了protoknowledge对Text-to-SPARQL性能的影响，通过改变提示策略来适应不同的输入条件。为此，采用了一种新的分析框架，评估模型预测是否与每个查询的相关protoknowledge的成功激活相一致。该方法为探索语义级别的数据污染提供了一种实用工具，并为封闭预训练模型提供了一种有效的策略。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）如何有效地记忆和泛化知识图谱（KG）中的知识的问题。现有方法缺乏对LLM如何内化和利用KG知识的细粒度理解，导致在下游任务中性能受限。特别是在Text-to-SPARQL任务中，LLM需要准确地将自然语言查询转换为SPARQL查询，这需要对KG的深入理解和有效利用。现有方法难以区分LLM是简单地记忆了训练数据，还是真正理解并泛化了KG知识。

核心思路：论文的核心思路是引入“protoknowledge”的概念，将其定义为LLM在预训练期间内化的、编码KG信息的token序列。通过分析LLM如何激活和利用这些protoknowledge，可以更深入地理解其知识表示和推理能力。论文认为，LLM的泛化能力取决于其能否成功激活与特定任务相关的protoknowledge。

技术框架：论文的技术框架主要包括以下几个部分：1) 定义protoknowledge的概念，并将其分为词汇、层级和拓扑三种类型。2) 设计知识激活任务（KATs），用于测量LLM对不同类型protoknowledge的激活程度。3) 构建Text-to-SPARQL任务，并采用不同的提示策略，以评估protoknowledge对下游任务性能的影响。4) 提出一种新的分析框架，用于评估模型预测是否与相关protoknowledge的成功激活相一致。

关键创新：论文的关键创新在于提出了protoknowledge的概念，并将其作为分析LLM知识表示和推理能力的基础。与现有方法相比，protoknowledge提供了一种更细粒度的视角，可以深入了解LLM如何内化和利用KG知识。此外，论文提出的知识激活任务（KATs）和分析框架为评估LLM的知识泛化能力提供了一种新的方法。

关键设计：论文的关键设计包括：1) protoknowledge的分类，根据知识类型分为词汇、层级和拓扑三种形式。2) 知识激活任务（KATs）的设计，旨在测量LLM对不同类型protoknowledge的激活程度。3) Text-to-SPARQL任务的提示策略，通过改变提示方式来影响LLM对protoknowledge的利用。4) 分析框架的设计，用于评估模型预测与protoknowledge激活的一致性。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过知识激活任务（KATs）和Text-to-SPARQL任务，验证了protoknowledge概念的有效性。实验结果表明，LLM在Text-to-SPARQL任务中的性能受到protoknowledge激活程度的影响。通过优化提示策略，可以提高LLM对相关protoknowledge的利用，从而提升Text-to-SPARQL的准确率。具体的性能提升数据在论文中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于提升LLM在知识密集型任务中的性能，例如问答系统、语义搜索和知识图谱补全。通过更好地理解和控制LLM对知识的记忆和泛化，可以构建更可靠、更智能的AI系统。此外，该方法还可以用于评估和缓解LLM中的数据污染问题，提高模型的鲁棒性和泛化能力。

📄 摘要（原文）

We introduce the concept of protoknowledge to formalize and measure how sequences of tokens encoding Knowledge Graphs are internalized during pretraining and utilized at inference time by Large Language Models (LLMs). Indeed, LLMs have demonstrated the ability to memorize vast amounts of token sequences during pretraining, and a central open question is how they leverage this memorization as reusable knowledge through generalization. We then categorize protoknowledge into lexical, hierarchical, and topological forms, varying on the type of knowledge that needs to be activated. We measure protoknowledge through Knowledge Activation Tasks (KATs), analyzing its general properties such as semantic bias. We then investigate the impact of protoknowledge on Text-to-SPARQL performance by varying prompting strategies depending on input conditions. To this end, we adopt a novel analysis framework that assesses whether model predictions align with the successful activation of the relevant protoknowledge for each query. This methodology provides a practical tool to explore Semantic-Level Data Contamination and serves as an effective strategy for Closed-Pretraining models.