Graphusion: Leveraging Large Language Models for Scientific Knowledge Graph Fusion and Construction in NLP Education

📄 arXiv: 2407.10794v1 📥 PDF

作者: Rui Yang, Boming Yang, Sixun Ouyang, Tianwei She, Aosong Feng, Yuang Jiang, Freddy Lecue, Jinghui Lu, Irene Li

分类: cs.CL, cs.AI

发布日期: 2024-07-15

备注: 24 pages, 11 figures, 13 tables. arXiv admin note: substantial text overlap with arXiv:2402.14293

💡 一句话要点

Graphusion：利用大语言模型融合科学知识图谱，应用于NLP教育

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱构建 大型语言模型 知识融合 自然语言处理 教育应用

📋 核心要点

  1. 现有知识图谱构建方法主要关注局部信息，缺乏全局视角，导致知识融合效果不佳。
  2. Graphusion框架通过融合模块提供全局视角，解决实体合并、冲突消解和新三元组发现等问题。
  3. 实验表明，Graphusion在链接预测任务上优于监督基线10%，并在人工评估中表现出色。

📝 摘要（中文）

知识图谱（KGs）在人工智能领域至关重要，并广泛应用于下游任务，例如增强问答（QA）系统。知识图谱的构建通常需要领域专家的巨大努力。最近，大型语言模型（LLMs）已被用于知识图谱构建（KGC），然而，大多数现有方法侧重于局部视角，从单个句子或文档中提取知识三元组。在这项工作中，我们介绍Graphusion，一个来自自由文本的零样本KGC框架。核心融合模块提供了三元组的全局视图，包括实体合并、冲突解决和新颖三元组发现。我们展示了Graphusion如何应用于自然语言处理（NLP）领域，并在教育场景中验证了它。具体来说，我们引入了TutorQA，这是一个新的专家验证的图推理和QA基准，包含六个任务和总共1,200个QA对。我们的评估表明，Graphusion在链接预测方面的准确率比监督基线高出10%。此外，在概念实体提取和关系识别方面，它在人工评估中分别获得了平均2.92分和2.37分（满分3分）。

🔬 方法详解

问题定义：现有知识图谱构建方法主要从局部文本片段（如单个句子）中提取知识三元组，缺乏对全局信息的整合和推理能力。这导致实体识别不准确、关系抽取不完整，以及知识冲突无法有效解决等问题。现有方法难以有效利用上下文信息进行知识融合，限制了知识图谱的质量和应用效果。

核心思路：Graphusion的核心思路是利用大型语言模型（LLMs）的强大语义理解和推理能力，对从不同文本片段中提取的知识三元组进行全局融合。通过构建一个全局知识图谱，并利用LLM进行实体对齐、关系推理和冲突消解，从而提高知识图谱的完整性和准确性。这种全局融合的思路能够有效解决局部方法带来的信息割裂和知识冲突问题。

技术框架：Graphusion框架主要包含以下几个模块：1) 文本输入模块：接收自由文本作为输入。2) 三元组提取模块：利用LLM从文本中提取候选知识三元组。3) 知识融合模块：这是Graphusion的核心模块，包含实体合并、冲突解决和新三元组发现三个子模块。实体合并模块负责将指代同一实体的不同名称进行合并。冲突解决模块负责解决不同来源的三元组之间的冲突。新三元组发现模块负责利用LLM进行推理，发现文本中未明确表达但隐含存在的三元组。4) 输出模块：输出融合后的知识图谱。

关键创新：Graphusion最重要的技术创新点在于其全局知识融合模块。该模块利用LLM的语义理解和推理能力，对从不同文本片段中提取的知识进行全局整合，从而有效解决了局部方法带来的信息割裂和知识冲突问题。与现有方法相比，Graphusion能够更准确地识别实体、抽取关系，并发现新的知识，从而构建更高质量的知识图谱。

关键设计：在知识融合模块中，实体合并采用基于LLM的语义相似度计算方法，将语义相似度高的实体进行合并。冲突解决采用基于LLM的知识推理方法，判断不同来源的三元组之间的可信度，并选择可信度高的三元组。新三元组发现采用基于LLM的知识图谱补全方法，利用已有的知识图谱信息进行推理，发现新的三元组。具体的参数设置和损失函数等细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Graphusion在链接预测任务上取得了显著的性能提升，相比于监督基线，准确率提高了10%。此外，在人工评估中，Graphusion在概念实体提取和关系识别方面分别获得了平均2.92分和2.37分（满分3分），表明其在知识图谱构建方面具有较高的质量。

🎯 应用场景

Graphusion在自然语言处理教育领域具有广泛的应用前景。它可以用于构建课程知识图谱，帮助学生更好地理解和掌握课程内容。此外，Graphusion还可以用于构建智能问答系统，为学生提供个性化的学习辅导。该研究的成果有助于提高NLP教育的质量和效率，并为其他领域的知识图谱构建提供借鉴。

📄 摘要（原文）

Knowledge graphs (KGs) are crucial in the field of artificial intelligence and are widely applied in downstream tasks, such as enhancing Question Answering (QA) systems. The construction of KGs typically requires significant effort from domain experts. Recently, Large Language Models (LLMs) have been used for knowledge graph construction (KGC), however, most existing approaches focus on a local perspective, extracting knowledge triplets from individual sentences or documents. In this work, we introduce Graphusion, a zero-shot KGC framework from free text. The core fusion module provides a global view of triplets, incorporating entity merging, conflict resolution, and novel triplet discovery. We showcase how Graphusion could be applied to the natural language processing (NLP) domain and validate it in the educational scenario. Specifically, we introduce TutorQA, a new expert-verified benchmark for graph reasoning and QA, comprising six tasks and a total of 1,200 QA pairs. Our evaluation demonstrates that Graphusion surpasses supervised baselines by up to 10% in accuracy on link prediction. Additionally, it achieves average scores of 2.92 and 2.37 out of 3 in human evaluations for concept entity extraction and relation recognition, respectively.