Assessing the Capability of Large Language Models for Domain-Specific Ontology Generation

📄 arXiv: 2504.17402v1 📥 PDF

作者: Anna Sofia Lippolis, Mohammad Javad Saeedizade, Robin Keskisarkka, Aldo Gangemi, Eva Blomqvist, Andrea Giovanni Nuzzolese

分类: cs.AI

发布日期: 2025-04-24

期刊: Joint Proc. ESWC 2025 Workshops and Tutorials, CEUR-WS, Vol. 3977, 2025

💡 一句话要点

利用大型语言模型实现领域特定本体的自动生成与泛化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 本体生成 领域特定 知识表示 自动化推理

📋 核心要点

  1. 现有本体工程方法在领域特定性、自动化程度和可扩展性方面存在不足，难以满足快速发展的知识表示需求。
  2. 本研究探索利用具备推理能力的大型语言模型，从能力问题和用户故事中自动生成领域本体，实现领域无关的本体构建。
  3. 实验结果表明，DeepSeek和o1-preview两种LLMs在不同领域中表现出一致的性能，验证了LLM在本体生成任务中的泛化能力。

📝 摘要（中文）

大型语言模型(LLMs)在本体工程领域展现出巨大的潜力。本研究旨在探索LLMs在领域特定本体生成任务中的适用性，并评估其在不同领域中的性能。具体而言，我们研究了两种最先进的LLMs——DeepSeek和o1-preview的泛化能力，它们都具备推理能力，通过从一系列能力问题(CQs)和相关的用户故事中生成本体来实现。我们的实验设置包括六个在现有本体工程项目中进行的不同的领域，以及总共95个精心设计的CQs，旨在测试模型在本体工程方面的推理能力。研究结果表明，两种LLMs在所有领域中的实验性能都非常一致，这表明这些方法能够泛化本体生成任务，而与领域无关。这些结果突出了基于LLM的方法在实现可扩展和领域无关的本体构建方面的潜力，并为进一步研究增强自动推理和知识表示技术奠定了基础。

🔬 方法详解

问题定义：本研究旨在解决领域特定本体自动生成的问题。现有本体工程方法通常需要人工干预，耗时且成本高昂，难以适应快速变化的领域知识。此外，现有方法在不同领域之间的泛化能力较弱，需要针对每个领域进行定制化的设计。

核心思路：本研究的核心思路是利用大型语言模型(LLMs)强大的自然语言理解和生成能力，将本体生成任务转化为一个语言建模问题。通过输入领域相关的能力问题(CQs)和用户故事，LLMs能够自动推理出领域概念、关系和属性，并生成相应的本体。

技术框架：本研究的技术框架主要包括以下几个步骤：1) 收集领域相关的能力问题(CQs)和用户故事；2) 将CQs和用户故事作为输入，输入到LLMs中；3) LLMs根据输入生成本体，本体以标准格式（如OWL或RDF）表示；4) 对生成的本体进行评估，评估指标包括本体的完整性、一致性和准确性。

关键创新：本研究的关键创新在于利用LLMs的泛化能力，实现了领域无关的本体生成。通过在多个不同领域进行实验，验证了LLMs在本体生成任务中的泛化能力。此外，本研究还探索了如何利用CQs和用户故事作为输入，引导LLMs生成高质量的本体。

关键设计：本研究的关键设计包括：1) 选择合适的LLMs，本研究选择了DeepSeek和o1-preview两种具备推理能力的LLMs；2) 设计合适的CQs，CQs需要能够覆盖领域的核心概念和关系；3) 设计合适的评估指标，评估指标需要能够反映本体的质量。

📊 实验亮点

实验结果表明，DeepSeek和o1-preview两种LLMs在六个不同领域中表现出一致的性能，验证了LLMs在本体生成任务中的泛化能力。该研究表明，基于LLM的方法能够实现可扩展和领域无关的本体构建，为进一步研究增强自动推理和知识表示技术奠定了基础。具体性能数据未知。

🎯 应用场景

该研究成果可应用于知识图谱构建、智能问答系统、语义搜索、数据集成等领域。通过自动化本体生成，可以降低知识表示的成本，提高知识获取的效率，加速各行业领域的智能化转型。未来，该技术有望应用于医疗、金融、教育等多个领域，构建领域知识库，赋能行业应用。

📄 摘要（原文）

Large Language Models (LLMs) have shown significant potential for ontology engineering. However, it is still unclear to what extent they are applicable to the task of domain-specific ontology generation. In this study, we explore the application of LLMs for automated ontology generation and evaluate their performance across different domains. Specifically, we investigate the generalizability of two state-of-the-art LLMs, DeepSeek and o1-preview, both equipped with reasoning capabilities, by generating ontologies from a set of competency questions (CQs) and related user stories. Our experimental setup comprises six distinct domains carried out in existing ontology engineering projects and a total of 95 curated CQs designed to test the models' reasoning for ontology engineering. Our findings show that with both LLMs, the performance of the experiments is remarkably consistent across all domains, indicating that these methods are capable of generalizing ontology generation tasks irrespective of the domain. These results highlight the potential of LLM-based approaches in achieving scalable and domain-agnostic ontology construction and lay the groundwork for further research into enhancing automated reasoning and knowledge representation techniques.