Enhancing the Capabilities of Large Language Models for API calls through Knowledge Graphs

📄 arXiv: 2507.10630v1 📥 PDF

作者: Ye Yang, Xue Xiao, Ping Yin, Taotao Xie

分类: cs.AI, cs.SE

发布日期: 2025-07-14

💡 一句话要点

提出KG2data，利用知识图谱增强大语言模型在气象领域API调用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 大型语言模型 API调用 气象领域 ReAct代理

📋 核心要点

  1. 现有大语言模型在气象等知识密集型领域进行API调用时，由于缺乏领域知识，难以有效处理复杂查询。
  2. KG2data系统利用知识图谱作为持久记忆，增强LLM在领域知识检索、复杂查询处理和语义关系解析等方面的能力。
  3. 实验表明，KG2data在API调用准确性方面显著优于RAG2data和chat2data，尤其在名称识别和避免幻觉方面。

📝 摘要（中文）

大型语言模型(LLM)的API调用为数据分析提供了一种前沿方法。然而，它们通过API调用有效利用工具的能力在气象等知识密集型领域仍未得到充分探索。本文介绍了一种名为KG2data的系统，该系统集成了知识图谱、LLM、ReAct代理和工具使用技术，以实现气象领域的智能数据获取和查询处理。通过使用虚拟API，我们评估了API调用的准确性，指标包括：名称识别失败、幻觉失败和调用正确性。KG2data取得了优异的性能(1.43%, 0%, 88.57%)，优于RAG2data(16%, 10%, 72.14%)和chat2data(7.14%, 8.57%, 71.43%)。KG2data与典型的基于LLM的系统的不同之处在于，它解决了后者对领域特定知识的有限访问，这阻碍了它们在复杂或术语丰富的查询上的性能。通过使用知识图谱作为持久内存，我们的系统增强了内容检索、复杂查询处理、领域特定推理、语义关系解析和异构数据集成。它还降低了微调LLM的高成本，使系统更适应不断发展的领域知识和API结构。总而言之，KG2data为知识需求高的领域中的智能、基于知识的问答和数据分析提供了一种新颖的解决方案。

🔬 方法详解

问题定义：论文旨在解决大语言模型在气象等知识密集型领域进行API调用时，由于缺乏领域特定知识而导致的性能瓶颈问题。现有方法，如直接使用LLM或结合RAG，在处理复杂或术语丰富的气象查询时，容易出现名称识别错误、幻觉等问题，导致API调用失败。

核心思路：论文的核心思路是利用知识图谱作为LLM的外部知识库，增强其对领域特定信息的理解和推理能力。通过将气象领域的知识编码到知识图谱中，KG2data能够更准确地检索相关信息，并指导LLM进行正确的API调用。这种方法避免了对LLM进行昂贵的微调，同时提高了系统的适应性和可扩展性。

技术框架：KG2data系统主要由以下几个模块组成：1) 知识图谱构建模块，用于构建和维护气象领域的知识图谱；2) 查询理解模块，用于解析用户查询，识别关键实体和关系；3) 信息检索模块，用于从知识图谱中检索与查询相关的知识；4) API调用模块，用于根据检索到的知识生成API调用指令，并执行调用；5) 结果评估模块，用于评估API调用的准确性和有效性。整个流程是：用户输入查询 -> 查询理解 -> 知识图谱检索 -> API调用指令生成 -> API调用 -> 结果评估。

关键创新：KG2data的关键创新在于将知识图谱与LLM、ReAct代理和工具使用技术相结合，构建了一个完整的知识驱动的API调用系统。与传统的基于LLM的系统相比，KG2data能够更好地处理领域特定知识，提高API调用的准确性和可靠性。此外，KG2data还通过使用知识图谱作为持久内存，降低了对LLM进行微调的需求，提高了系统的适应性和可扩展性。

关键设计：论文中没有详细描述关键参数设置、损失函数或网络结构等技术细节。但可以推测，知识图谱的构建和维护、查询理解模块的实体识别和关系抽取、以及API调用指令的生成策略是关键的设计要素。具体实现可能涉及实体链接、关系抽取、语义解析等技术，并需要针对气象领域的特点进行优化。

📊 实验亮点

KG2data在虚拟API上的实验结果表明，其API调用正确率达到88.57%，显著优于RAG2data (72.14%) 和 chat2data (71.43%)。KG2data在名称识别失败率和幻觉失败率方面也表现出色，分别为1.43%和0%，表明其能够更准确地理解用户查询并避免生成不正确的信息。

🎯 应用场景

KG2data可应用于气象数据分析、智能气象服务、灾害预警等领域。通过集成气象知识图谱和LLM，该系统能够更准确地理解用户查询，并调用相应的API获取所需数据，为气象研究人员和公众提供更智能、更便捷的服务。未来，该方法还可推广到其他知识密集型领域，如医疗、金融等。

📄 摘要（原文）

API calls by large language models (LLMs) offer a cutting-edge approach for data analysis. However, their ability to effectively utilize tools via API calls remains underexplored in knowledge-intensive domains like meteorology. This paper introduces KG2data, a system that integrates knowledge graphs, LLMs, ReAct agents, and tool-use technologies to enable intelligent data acquisition and query handling in the meteorological field. Using a virtual API, we evaluate API call accuracy across three metrics: name recognition failure, hallucination failure, and call correctness. KG2data achieves superior performance (1.43%, 0%, 88.57%) compared to RAG2data (16%, 10%, 72.14%) and chat2data (7.14%, 8.57%, 71.43%). KG2data differs from typical LLM-based systems by addressing their limited access to domain-specific knowledge, which hampers performance on complex or terminology-rich queries. By using a knowledge graph as persistent memory, our system enhances content retrieval, complex query handling, domain-specific reasoning, semantic relationship resolution, and heterogeneous data integration. It also mitigates the high cost of fine-tuning LLMs, making the system more adaptable to evolving domain knowledge and API structures. In summary, KG2data provides a novel solution for intelligent, knowledge-based question answering and data analysis in domains with high knowledge demands.