Enriching Ontologies with Disjointness Axioms using Large Language Models

📄 arXiv: 2410.03235v2 📥 PDF

作者: Elias Crum, Antonio De Santis, Manon Ovide, Jiaxin Pan, Alessia Pisu, Nicolas Lazzari, Sebastian Rudolph

分类: cs.AI, cs.LO

发布日期: 2024-10-04 (更新: 2024-12-02)

备注: Accepted at KBC-LM'24 workshop at ISWC 2024, https://ceur-ws.org/Vol-3853/paper1.pdf

期刊: Proc. of 2nd Workshop on Knowledge Base Construction from Pre-Trained Language Models (KBC-LM 2024) co-located with ISWC 2024, Baltimore, USA, November 12, 2024

🔗 代码/项目: GITHUB

💡 一句话要点

利用大型语言模型补全本体中类的不相交公理，提升知识图谱推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 本体补全 知识图谱 不相交公理 提示工程

📋 核心要点

  1. 现有本体知识图谱缺乏类之间显式的不相交声明，限制了推理和一致性检查的能力。
  2. 利用大型语言模型（LLM）的隐性知识，通过巧妙的提示工程来识别和断言类的不相交关系。
  3. 实验表明，通过有效的提示策略，LLM能够可靠地识别不相交类关系，从而简化本体补全过程。

📝 摘要（中文）

本体通常缺乏类之间显式的不相交声明，但这对于知识图谱中的复杂推理和一致性检查至关重要。本研究探索了大型语言模型（LLM）通过识别和断言类不相交公理来丰富本体的潜力。我们的方法旨在利用LLM中嵌入的隐性知识，通过提示工程来提取这些知识以对本体不相交性进行分类。我们在DBpedia本体上验证了我们的方法，重点关注开源LLM。研究结果表明，在有效的提示策略指导下，LLM可以可靠地识别不相交的类关系，从而简化本体补全过程，无需大量手动输入。为了实现全面的不相交性补全，我们提出了一个过程，该过程考虑了不相交性和子类语句之间的逻辑关系，以保持可满足性并减少对LLM的调用次数。这项工作为LLM在自动本体增强中的未来应用奠定了基础，并提供了通过战略提示设计优化LLM性能的见解。我们的代码已在GitHub上公开发布。

🔬 方法详解

问题定义：论文旨在解决本体中类之间缺乏显式不相交声明的问题。现有方法依赖于人工标注或基于规则的方法，成本高昂且难以扩展。这些方法无法有效利用大型语言模型中蕴含的丰富知识，导致本体补全效率低下。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大语言理解和知识推理能力，通过提示工程（Prompt Engineering）将本体补全任务转化为LLM可以理解和执行的自然语言任务。通过精心设计的提示，引导LLM识别和断言类之间的不相交关系。

技术框架：整体流程包括以下几个阶段：1) 选择目标本体（如DBpedia）；2) 构建类对；3) 设计提示模板，将类对信息输入LLM；4) LLM根据提示输出类对是否不相交的判断；5) 结合不相交性和子类语句之间的逻辑关系，进行一致性检查和优化，减少LLM调用次数。

关键创新：论文的关键创新在于将大型语言模型应用于本体不相交性补全任务，并提出了基于提示工程的方法。与传统方法相比，该方法能够有效利用LLM的隐性知识，降低人工标注成本，提高本体补全效率。此外，论文还考虑了逻辑关系，保证了补全后本体的一致性。

关键设计：提示模板的设计是关键。论文可能采用了不同的提示模板，例如“Is [Class A] disjoint with [Class B]? Answer yes or no.”。此外，论文还可能探索了不同的LLM，并针对不同的LLM调整了提示模板。为了保证本体的一致性，论文可能使用了推理机（Reasoner）进行一致性检查，并根据推理结果调整LLM的输出。

📊 实验亮点

该研究在DBpedia本体上进行了实验，验证了基于LLM的本体不相交性补全方法的有效性。实验结果表明，通过有效的提示策略，LLM能够可靠地识别不相交的类关系，并且在保证本体一致性的前提下，显著减少了人工标注的工作量。具体性能数据（如准确率、召回率等）未知，但该方法为本体补全提供了一种新的思路。

🎯 应用场景

该研究成果可应用于知识图谱构建、本体维护、智能问答、语义搜索等领域。通过自动补全本体中的不相交公理，可以提高知识图谱的推理能力和数据质量，从而提升下游应用的性能。未来，该方法可以扩展到其他本体补全任务，例如补全类的属性、关系等。

📄 摘要（原文）

Ontologies often lack explicit disjointness declarations between classes, despite their usefulness for sophisticated reasoning and consistency checking in Knowledge Graphs. In this study, we explore the potential of Large Language Models (LLMs) to enrich ontologies by identifying and asserting class disjointness axioms. Our approach aims at leveraging the implicit knowledge embedded in LLMs, using prompt engineering to elicit this knowledge for classifying ontological disjointness. We validate our methodology on the DBpedia ontology, focusing on open-source LLMs. Our findings suggest that LLMs, when guided by effective prompt strategies, can reliably identify disjoint class relationships, thus streamlining the process of ontology completion without extensive manual input. For comprehensive disjointness enrichment, we propose a process that takes logical relationships between disjointness and subclass statements into account in order to maintain satisfiability and reduce the number of calls to the LLM. This work provides a foundation for future applications of LLMs in automated ontology enhancement and offers insights into optimizing LLM performance through strategic prompt design. Our code is publicly available on GitHub at https://github.com/n28div/llm-disjointness.