A RAG Approach for Generating Competency Questions in Ontology Engineering

📄 arXiv: 2409.08820v2 📥 PDF

作者: Xueli Pan, Jacco van Ossenbruggen, Victor de Boer, Zhisheng Huang

分类: cs.AI

发布日期: 2024-09-13 (更新: 2025-02-11)

期刊: 18th International Conference on Metadata and Semantics Research (MTSR2024)

💡 一句话要点

提出基于RAG的框架，利用领域知识增强LLM在本体工程中生成能力问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 本体工程 能力问题生成 检索增强生成 大型语言模型 领域知识库

📋 核心要点

  1. 传统本体工程中能力问题构建依赖专家，耗时费力，存在自动化需求。
  2. 提出RAG框架，利用科学论文作为领域知识库，增强LLM生成能力问题的能力。
  3. 实验表明，相比零样本提示，RAG方法显著提升LLM在本体工程任务中生成能力问题的性能。

📝 摘要（中文）

能力问题（CQ）的构建对于本体开发和评估至关重要。传统上，构建这些能力问题高度依赖于领域专家和知识工程师的努力，这通常耗时且费力。随着大型语言模型（LLM）的出现，自动化和增强这一过程成为可能。与使用现有本体或知识图谱作为LLM输入的其他类似工作不同，我们提出了一种检索增强生成（RAG）方法，该方法使用LLM自动生成CQ，输入为一组被认为是领域知识库的科学论文。我们研究了其性能，特别是研究了不同数量的论文对RAG的影响以及LLM的不同温度设置。我们使用GPT-4在两个领域本体工程任务上进行了实验，并将结果与领域专家构建的ground-truth CQ进行比较。对结果的实证评估，利用评估指标（精确度和一致性），表明与零样本提示相比，向RAG添加相关的领域知识可以提高LLM在为具体本体工程任务生成CQ方面的性能。

🔬 方法详解

问题定义：论文旨在解决本体工程中能力问题（Competency Question, CQ）自动生成的问题。现有方法依赖领域专家手动构建，效率低下且成本高昂。现有基于LLM的方法通常直接使用本体或知识图谱作为输入，限制了知识来源的多样性和灵活性。

核心思路：论文的核心思路是利用检索增强生成（Retrieval-Augmented Generation, RAG）框架，将领域相关的科学论文作为外部知识库，提供给大型语言模型（LLM），从而引导LLM生成更准确、更全面的能力问题。通过RAG，LLM可以访问更广泛的领域知识，避免仅依赖自身参数中的知识，从而提高生成CQ的质量。

技术框架：整体框架包含以下几个主要阶段：1) 知识检索：根据给定的本体工程任务，从科学论文集中检索相关的论文。2) 知识增强：将检索到的论文内容与任务描述一起作为LLM的输入。3) 能力问题生成：利用LLM生成能力问题。4) 评估：使用精确度和一致性等指标评估生成CQ的质量。

关键创新：该方法的核心创新在于将RAG框架应用于本体工程中的能力问题生成任务，并使用科学论文作为领域知识库。这与以往使用本体或知识图谱作为LLM输入的方法不同，扩展了知识来源，提高了生成CQ的灵活性和准确性。

关键设计：论文研究了RAG中使用的论文数量对性能的影响，以及LLM的温度（temperature）参数对生成CQ多样性的影响。温度参数控制LLM生成文本的随机性，较高的温度会产生更多样化的结果，但可能牺牲准确性。论文通过实验确定了合适的论文数量和温度参数，以获得最佳的生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与零样本提示相比，使用RAG框架可以显著提高LLM生成能力问题的精确度和一致性。具体而言，通过向RAG添加相关的领域知识，LLM在两个领域本体工程任务上的性能均得到提升。论文还研究了不同数量的论文和不同的温度设置对RAG性能的影响，为实际应用提供了指导。

🎯 应用场景

该研究成果可应用于本体工程、知识图谱构建、智能问答系统等领域。通过自动生成能力问题，可以加速本体开发过程，降低对领域专家的依赖，并提高本体的质量和可用性。此外，该方法还可以应用于其他需要从领域知识中生成特定类型问题的场景。

📄 摘要（原文）

Competency question (CQ) formulation is central to several ontology development and evaluation methodologies. Traditionally, the task of crafting these competency questions heavily relies on the effort of domain experts and knowledge engineers which is often time-consuming and labor-intensive. With the emergence of Large Language Models (LLMs), there arises the possibility to automate and enhance this process. Unlike other similar works which use existing ontologies or knowledge graphs as input to LLMs, we present a retrieval-augmented generation (RAG) approach that uses LLMs for the automatic generation of CQs given a set of scientific papers considered to be a domain knowledge base. We investigate its performance and specifically, we study the impact of different number of papers to the RAG and different temperature setting of the LLM. We conduct experiments using GPT-4 on two domain ontology engineering tasks and compare results against ground-truth CQs constructed by domain experts. Empirical assessments on the results, utilizing evaluation metrics (precision and consistency), reveal that compared to zero-shot prompting, adding relevant domain knowledge to the RAG improves the performance of LLMs on generating CQs for concrete ontology engineering tasks.