CQ4OE: A benchmark for assessing LLM-assisted ontology generation from competency questions

📄 arXiv: 2609.26029v1 📥 PDF

作者: Jiayi Li, Ziyuan Wang, Daniel Garijo, María Poveda-Villalón

分类: cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出CQ4OE基准以解决LLM辅助本体生成评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 本体生成 能力问题 大型语言模型 评估基准 知识图谱 自然语言处理 系统评估

📋 核心要点

  1. 现有方法在能力问题生成本体的评估上存在分散性，缺乏细粒度的CQ来源和一致的评估标准。
  2. 论文提出CQ4OE基准，通过构建CQ驱动的金标准OWL本体，系统性地评估LLM生成本体的能力。
  3. 实验结果表明，LLMs在恢复词汇术语方面表现优于本体生成，尤其是在属性建模和层次构建上有显著提升。

📝 摘要（中文）

从能力问题（CQs）生成本体是本体工程中的核心但劳动密集型阶段。尽管大型语言模型（LLMs）提供了有前景的自动化能力，但当前的评估仍然分散。任务表述异质，金标准往往缺乏细粒度的CQ来源，评估指标混淆了词汇重叠与结构和逻辑的适当性，参考本体并不总是明确围绕评估CQ设计。为此，我们提出CQ4OE，一个用于系统和可重复评估LLM基于CQs生成本体的基准。我们为基准中的每个本体构建了一个CQ驱动的金标准OWL本体，明确链接每个CQ与回答所需的类、属性和公理。基于此资源，我们定义了两个互补的评估任务。CQ2Term支持99个CQs的类和属性预测的术语级评估，CQ2Onto支持118个CQs的本体级评估，包括层次结构、属性建模和公理级结构。我们通过对九个LLMs在零-shot、迭代和多代理生成策略下的实验展示了CQ4OE，结果表明LLMs在恢复显式词汇术语方面比创建本体更可靠，尤其是在属性建模、层次构建和公理生成方面。

🔬 方法详解

问题定义：论文要解决的具体问题是现有LLM辅助本体生成评估方法的分散性和不一致性，导致评估结果的可靠性不足。现有方法在任务表述、金标准和评估指标上存在多样性，影响了评估的有效性和可比性。

核心思路：论文的核心解决思路是构建CQ4OE基准，通过明确的CQ来源和金标准OWL本体，提供系统化的评估框架。这样设计的目的是为了确保评估的可重复性和一致性，从而提高LLM生成本体的评估质量。

技术框架：整体架构包括两个主要模块：CQ2Term和CQ2Onto。CQ2Term用于术语级评估，关注类和属性的预测；CQ2Onto则用于本体级评估，涵盖层次结构、属性建模和公理级结构。

关键创新：最重要的技术创新点在于构建了一个CQ驱动的金标准OWL本体，明确链接每个CQ与其对应的类、属性和公理。这种方法与现有方法的本质区别在于提供了清晰的评估标准和来源，增强了评估的透明度和可靠性。

关键设计：在设计中，论文采用了明确的金标准构建流程，确保每个CQ都能追溯到相应的本体元素。此外，评估指标的选择也经过精心设计，以避免词汇重叠与结构适当性之间的混淆。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在使用九个LLMs进行评估时，LLMs在恢复显式词汇术语方面的表现优于本体生成，尤其是在属性建模和层次构建方面，表现出更高的可靠性和一致性。这表明CQ4OE基准能够有效提升LLM在本体生成任务中的评估质量。

🎯 应用场景

该研究的潜在应用领域包括本体工程、知识图谱构建和自然语言处理等。通过提供系统化的评估基准，CQ4OE能够帮助研究人员和开发者更有效地评估和改进LLM在本体生成中的应用，推动相关技术的发展和实际应用。

📄 摘要（原文）

Ontology generation from Competency Questions (CQs) is a central yet labor-intensive phase of Ontology Engineering. While large language models (LLMs) offer promising automation capabilities, current evaluations remain fragmented. Task formulations are heterogeneous, gold standards often lack fine-grained CQ provenance, metrics conflate lexical overlap with structural and logical adequacy, and reference ontologies are not always explicitly designed around the evaluation CQs. Here, we address these limitations with CQ4OE, a benchmark for the systematic and reproducible evaluation of LLM-based ontology generation from CQs. For each ontology in the benchmark, we build a CQ-driven gold OWL ontology with explicit provenance linking each CQ to the classes, properties, and axioms required to answer it. From this resource, we define two complementary evaluation tasks. CQ2Term supports term-level evaluation of CQ-specific class and property prediction over 99 CQs, and CQ2Onto supports ontology-level evaluation over 118 CQs, including hierarchy, property modeling, and axiom-level structure. We demonstrate CQ4OE with experiments using nine LLMs under zero-shot, iterative, and multi-agent generation strategies, showing that LLMs recover explicit vocabulary terms more reliably than creating ontologies, particularly in property modeling, hierarchy construction, and axiom generation.