Natural Language Questions as an Interface for Knowledge Graphs: QRAKEN Graph Distillation and Semantic Self-Healing

📄 arXiv: 2610.08095v1 📥 PDF

作者: Remo Grillo, Lukas Klic, Giovanni Colavizza

分类: cs.AI, cs.CL

发布日期: 2026-10-06

💡 一句话要点

提出QRAKEN以解决知识图谱自然语言访问问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 自然语言处理 SPARQL 神经符号系统 查询生成 语义网 模型优化

📋 核心要点

  1. 现有方法在处理不熟悉的知识图谱时，常生成错误的SPARQL查询，导致数据模型的误解。
  2. QRAKEN通过无训练的神经符号管道，利用实证图证据生成查询，避免依赖模式期望。
  3. 在CK25挑战中，QRAKEN的严格F1分数显著优于其他系统，验证了其有效性和优势。

📝 摘要（中文）

自然语言访问RDF知识图谱是语义网的核心目标。尽管大型语言模型（LLMs）在文本到SPARQL的转换上取得了进展，但在不熟悉的图谱上，它们常常生成有效但错误的数据模型查询。QRAKEN是一个无训练、与本体无关的神经符号管道，基于实证图证据而非模式期望进行生成。离线蒸馏器生成TTQL，描述了多跳模式、条件频率和路径条件字面示例的紧凑描述。在线上，TTQL指导LLM，同时确定性语法、词汇和数据模型检查提供迭代改进的诊断。在CK25挑战中，QRAKEN在与QLever快照匹配的条件下，使用GPT-4.1 mini和GPT-5.4分别达到了0.643和0.652的严格F1分数，分别比最强的参与者提升了30%和32%。

🔬 方法详解

问题定义：论文要解决的问题是如何有效地将自然语言转换为SPARQL查询，尤其是在不熟悉的知识图谱上，现有方法常常生成错误的查询，导致对数据模型的误解。

核心思路：QRAKEN的核心思路是构建一个无训练、与本体无关的神经符号管道，基于实证图证据而非模式期望进行查询生成，从而提高查询的准确性和有效性。

技术框架：整体架构包括离线蒸馏器和在线生成模块。离线蒸馏器生成TTQL，描述多跳模式和条件频率，而在线模块利用TTQL指导LLM生成查询，并进行语法和数据模型检查。

关键创新：最重要的技术创新点在于TTQL的生成和使用，它通过实证数据驱动查询生成，显著提高了查询的准确性，与传统的模式驱动方法有本质区别。

关键设计：关键设计包括TTQL的构建，涉及多跳模式、条件频率和类-属性共现矩阵的生成，以及在线阶段的确定性语法和数据模型检查，确保生成查询的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在CK25挑战中，QRAKEN使用GPT-4.1 mini和GPT-5.4分别达到了0.643和0.652的严格F1分数，较最强参与者提升了30%和32%。TTQL模式的使用是提升的主要驱动力，验证了其在生成准确查询方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括知识图谱的自动查询生成、智能问答系统和语义搜索引擎等。通过提供更准确的查询生成能力，QRAKEN可以显著提升用户在复杂数据环境中的信息获取效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Natural-language access to RDF knowledge graphs is a core Semantic Web ambition. Large language models (LLMs) have advanced Text-to-SPARQL, yet on unfamiliar graphs they often generate valid queries that misrepresent the populated data model. QRAKEN is a training-free, ontology-agnostic neurosymbolic pipeline grounding generation in empirical graph evidence rather than schema expectations. An offline distiller produces TTQL, a compact description of populated multi-hop patterns, conditional frequencies and path-conditioned literal examples, plus a class-property co-occurrence matrix. Online, TTQL guides the LLM, while deterministic syntax, vocabulary and data-model checks provide diagnostics for iterative refinement. On CK25 (First International Text2SPARQL Challenge), under matched-condition recomputation on a QLever snapshot, QRAKEN achieves strict F1 of 0.643 $\pm$ 0.026 with GPT-4.1 mini and 0.652 $\pm$ 0.012 with GPT-5.4: relative gains of 30% and 32% over the strongest recomputed participant, outperforming systems using the same base model family. Ablations identify TTQL patterns as the dominant driver (+0.31 strict F1 over a shape-only baseline); the refinement loop provides a cheap safety net, rejecting triple patterns unsupported by the co-occurrence matrix. Compared with auto-derived SHACL, TTQL yields 64% higher strict F1, supporting the value of empirical patterns beyond schema exposure. With two local 35B 4-bit open-weight models at zero marginal cost, the same pipeline matches the strongest recomputed participant, and TTQL advantages over shape-only and SHACL baselines persist. Results on a single, relatively small benchmark provide an initial empirical signal; monolithic TTQL injection on very open cross-domain graphs remains the main limitation.