SPARQL-LLM: Real-Time SPARQL Query Generation from Natural Language Questions

📄 arXiv: 2512.14277v1 📥 PDF

作者: Panayiotis Smeros, Vincent Emonet, Ruijie Wang, Ana-Claudia Sima, Tarcisio Mendes de Farias

分类: cs.IR, cs.AI, cs.CL

发布日期: 2025-12-16

备注: 17 pages, 8 figures, 1 table. Under Review

💡 一句话要点

SPARQL-LLM：一种基于轻量级元数据的实时自然语言到SPARQL查询生成方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: SPARQL查询生成 自然语言处理 知识图谱 大型语言模型 元数据索引

📋 核心要点

  1. 现有方法在自然语言生成SPARQL查询时，侧重于单数据源的准确性，忽略了联邦查询能力、运行时间和成本等关键因素。
  2. SPARQL-LLM利用轻量级元数据，通过元数据索引、提示构建和查询生成执行等模块，实现了高效的自然语言到SPARQL查询转换。
  3. 实验结果表明，SPARQL-LLM在F1分数上提升了24%，速度提升高达36倍，且成本极低，适用于实时应用。

📝 摘要（中文）

大型语言模型的出现促进了从自然语言生成结构化查询（如SPARQL查询）的新方法的发展。然而，这些方法主要关注单个来源的响应准确性，忽略了其他评估标准，如跨分布式数据存储的联邦查询能力，以及生成SPARQL查询的运行时间和成本。因此，它们通常无法直接用于生产环境，或者难以在具有良好准确性的（潜在的联邦）知识图谱上部署。为了解决这些问题，本文扩展了我们之前的工作，描述并系统地评估了SPARQL-LLM，这是一种开源且与三元组存储无关的方法，它由轻量级元数据驱动，可以从自然语言文本生成SPARQL查询。我们首先描述了它的架构，该架构由用于元数据索引、提示构建和查询生成与执行的专用组件组成。然后，我们基于最先进的多语言问题挑战以及来自生物信息学领域中最流行的三个知识图谱的问题集合对其进行评估。结果表明，在最先进的挑战中，F1分数显着提高了24％，对英语和西班牙语等高资源语言的适应性良好，并且能够形成复杂且联邦的生物信息学查询。此外，我们表明SPARQL-LLM比参与挑战的其他系统快36倍，每个问题的成本最高为0.01美元，使其适用于实时、低成本的文本到SPARQL应用程序。可以在https://www.expasy.org/chat上找到一个部署在真实世界分散知识图谱上的此类应用程序。

🔬 方法详解

问题定义：论文旨在解决从自然语言问题实时生成SPARQL查询的问题，现有方法的痛点在于无法兼顾准确性、联邦查询能力、运行效率和成本，导致难以在实际生产环境中部署。

核心思路：论文的核心思路是利用轻量级元数据来指导大型语言模型生成SPARQL查询。通过对知识图谱的元数据进行索引，可以更有效地构建提示，从而提高查询生成的准确性和效率。这种方法旨在平衡准确性、效率和成本，使其适用于实时应用。

技术框架：SPARQL-LLM的整体架构包含以下主要模块： 1. 元数据索引：对知识图谱的元数据进行索引，以便快速检索相关信息。 2. 提示构建：根据自然语言问题和索引的元数据，构建用于输入到大型语言模型的提示。 3. 查询生成：使用大型语言模型根据提示生成SPARQL查询。 4. 查询执行：执行生成的SPARQL查询并返回结果。

关键创新：最重要的技术创新点在于利用轻量级元数据来指导大型语言模型生成SPARQL查询。与现有方法相比，SPARQL-LLM更加注重效率和成本，使其适用于实时应用。此外，该方法是三元组存储无关的，可以应用于不同的知识图谱。

关键设计：论文中没有详细描述关键参数设置、损失函数或网络结构等技术细节，这些细节可能取决于所使用的大型语言模型和元数据索引方法。论文重点在于整体架构和流程的设计，以及如何利用元数据来提高查询生成的效率和准确性。具体的模型选择和参数调优可能需要根据实际应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPARQL-LLM在最先进的挑战中，F1分数提高了24%。此外，SPARQL-LLM比参与挑战的其他系统快36倍，每个问题的成本最高为0.01美元。这些结果表明，SPARQL-LLM在准确性、效率和成本方面都具有显著优势，使其适用于实时、低成本的文本到SPARQL应用程序。

🎯 应用场景

SPARQL-LLM可应用于多种场景，例如智能问答系统、知识图谱查询接口和生物信息学数据检索。该方法能够以低成本和高效率的方式将自然语言问题转换为SPARQL查询，从而方便用户访问和利用知识图谱中的信息。未来，该技术有望在更多领域得到应用，例如医疗健康、金融和教育等。

📄 摘要（原文）

The advent of large language models is contributing to the emergence of novel approaches that promise to better tackle the challenge of generating structured queries, such as SPARQL queries, from natural language. However, these new approaches mostly focus on response accuracy over a single source while ignoring other evaluation criteria, such as federated query capability over distributed data stores, as well as runtime and cost to generate SPARQL queries. Consequently, they are often not production-ready or easy to deploy over (potentially federated) knowledge graphs with good accuracy. To mitigate these issues, in this paper, we extend our previous work and describe and systematically evaluate SPARQL-LLM, an open-source and triplestore-agnostic approach, powered by lightweight metadata, that generates SPARQL queries from natural language text. First, we describe its architecture, which consists of dedicated components for metadata indexing, prompt building, and query generation and execution. Then, we evaluate it based on a state-of-the-art challenge with multilingual questions, and a collection of questions from three of the most prevalent knowledge graphs within the field of bioinformatics. Our results demonstrate a substantial increase of 24% in the F1 Score on the state-of-the-art challenge, adaptability to high-resource languages such as English and Spanish, as well as ability to form complex and federated bioinformatics queries. Furthermore, we show that SPARQL-LLM is up to 36x faster than other systems participating in the challenge, while costing a maximum of $0.01 per question, making it suitable for real-time, low-cost text-to-SPARQL applications. One such application deployed over real-world decentralized knowledge graphs can be found at https://www.expasy.org/chat.