Assessing LLMs Suitability for Knowledge Graph Completion

📄 arXiv: 2405.17249v2 📥 PDF

作者: Vasile Ionut Remus Iga, Gheorghe Cosmin Silaghi

分类: cs.CL, cs.AI

发布日期: 2024-05-27 (更新: 2024-07-18)

备注: Accepted at 18th International Conference on Neural-Symbolic Learning and Reasoning, NESY 2024. Evaluating Mixtral-8x7b-Instruct-v0.1, GPT-3.5-Turbo-0125 and GPT-4o for Knowledge Graph Completion task with prompts formatted according to the TELeR taxonomy

💡 一句话要点

评估大型语言模型在知识图谱补全任务中的适用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱补全 大型语言模型 提示工程 零样本学习 少样本学习

📋 核心要点

  1. 大型语言模型在知识图谱补全中面临幻觉和非确定性输出的挑战，导致推理错误。
  2. 论文探索了通过构建包含充分信息和相关示例的提示，提升LLMs在知识图谱补全任务中的性能。
  3. 实验结果表明，在适当的提示下，LLMs可以有效应用于知识图谱补全任务，尤其是在面向任务的对话系统中。

📝 摘要（中文）

本文评估了大型语言模型（LLMs）在知识图谱补全任务中的能力，即使在零样本或少样本范式下。尽管LLMs展现出解决知识图谱相关任务的潜力，但它们也存在幻觉和非确定性输出的问题，导致错误的推理结果。为了突出知识图谱相关任务中的机遇和挑战，本文在静态知识图谱上，使用TELeR分类构建的提示，在零样本和单样本上下文中，对Mixtral-8x7b-Instruct-v0.1、GPT-3.5-Turbo-0125和GPT-4o这三个LLMs进行了知识图谱补全实验，并应用于面向任务的对话系统用例。通过严格和灵活的指标评估，结果表明，如果提示包含足够的信息和相关示例，LLMs可以适用于此类任务。

🔬 方法详解

问题定义：知识图谱补全旨在根据已有的知识图谱信息，推断出缺失的三元组关系。现有方法在处理复杂关系和推理时存在不足，而大型语言模型虽然具备一定的推理能力，但容易产生幻觉，导致补全结果不准确。

核心思路：论文的核心思路是利用精心设计的提示（Prompt），引导大型语言模型进行知识图谱补全。通过在提示中提供足够的上下文信息和相关示例，来减少LLMs的幻觉，提高其推理的准确性。

技术框架：该研究的技术框架主要包括以下几个步骤：1）选择合适的LLMs，如Mixtral-8x7b-Instruct-v0.1、GPT-3.5-Turbo-0125和GPT-4o；2）根据TELeR分类构建提示，包括任务描述、输入和输出格式等；3）在零样本和单样本设置下，使用构建的提示对LLMs进行知识图谱补全；4）使用严格和灵活的指标评估LLMs的补全结果。

关键创新：论文的关键创新在于将TELeR分类应用于提示工程，从而系统地构建包含充分信息的提示，以提高LLMs在知识图谱补全任务中的性能。此外，论文还对比了不同LLMs在知识图谱补全任务中的表现，为选择合适的LLM提供了参考。

关键设计：论文的关键设计包括：1）提示的构建，需要包含清晰的任务描述、输入格式和输出格式；2）使用TELeR分类来指导提示的构建，确保提示包含足够的信息；3）采用零样本和单样本设置，评估LLMs在不同上下文下的表现；4）使用严格和灵活的指标来评估补全结果，例如精确匹配和语义相似度。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，通过精心设计的提示，LLMs可以在知识图谱补全任务中取得较好的性能。具体来说，在包含足够信息和相关示例的提示下，LLMs的补全准确率得到了显著提升。此外，不同LLMs的表现存在差异，GPT-4o通常优于GPT-3.5-Turbo-0125和Mixtral-8x7b-Instruct-v0.1。

🎯 应用场景

该研究成果可应用于智能对话系统、知识问答系统、推荐系统等领域。通过利用LLMs进行知识图谱补全，可以提高这些系统的知识覆盖率和推理能力，从而提供更准确、更智能的服务。未来，该方法还可以扩展到其他知识密集型任务中。

📄 摘要（原文）

Recent work has shown the capability of Large Language Models (LLMs) to solve tasks related to Knowledge Graphs, such as Knowledge Graph Completion, even in Zero- or Few-Shot paradigms. However, they are known to hallucinate answers, or output results in a non-deterministic manner, thus leading to wrongly reasoned responses, even if they satisfy the user's demands. To highlight opportunities and challenges in knowledge graphs-related tasks, we experiment with three distinguished LLMs, namely Mixtral-8x7b-Instruct-v0.1, GPT-3.5-Turbo-0125 and GPT-4o, on Knowledge Graph Completion for static knowledge graphs, using prompts constructed following the TELeR taxonomy, in Zero- and One-Shot contexts, on a Task-Oriented Dialogue system use case. When evaluated using both strict and flexible metrics measurement manners, our results show that LLMs could be fit for such a task if prompts encapsulate sufficient information and relevant examples.