Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models

📄 arXiv: 2503.23523v1 📥 PDF

作者: Haochen Liu, Song Wang, Chen Chen, Jundong Li

分类: cs.CL, cs.LG

发布日期: 2025-03-30

💡 一句话要点

提出问题感知知识图谱提示方法，增强大语言模型在知识密集型问答任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 大语言模型 多项选择问答 图神经网络 软提示

📋 核心要点

  1. 现有方法在知识密集型问答中，未能充分利用知识图谱信息，导致大语言模型性能受限。
  2. QAP方法通过将问题嵌入融入图神经网络聚合过程，动态评估知识图谱的相关性，生成更有效的软提示。
  3. 实验结果表明，QAP在多个数据集上超越了现有最佳方法，验证了其在知识增强大语言模型方面的有效性。

📝 摘要（中文）

大型语言模型（LLM）在需要外部知识的任务中表现不佳，例如知识密集型多项选择问答（MCQA）。集成知识图谱（KG）可以增强推理能力；然而，现有方法通常需要昂贵的微调或检索到嘈杂的KG信息。最近的方法利用图神经网络（GNN）生成基于KG的输入嵌入前缀作为LLM的软提示，但未能考虑问题相关性，导致提示信息存在噪声。此外，在MCQA任务中，某些答案选项缺乏相关的KG知识仍然是一个重大挑战。为了解决这些问题，我们提出了问题感知知识图谱提示（QAP），它将问题嵌入融入GNN聚合中，以动态评估KG相关性。QAP采用全局注意力来捕获选项间的关系，用推断的知识丰富软提示。实验结果表明，QAP在多个数据集上优于最先进的方法，突出了其有效性。

🔬 方法详解

问题定义：现有的大语言模型在处理知识密集型多项选择问答（MCQA）任务时，常常因为缺乏外部知识而表现不佳。虽然集成知识图谱（KG）可以提供额外的知识，但现有方法存在一些痛点：一是需要昂贵的微调过程；二是检索到的KG信息可能包含噪声，影响模型的判断；三是未能充分考虑问题与KG信息的相关性，导致生成的提示信息不够精准。

核心思路：QAP的核心思路是使知识图谱的提示信息生成过程能够感知问题的内容，从而动态地评估KG的相关性，并生成更有效的软提示。通过将问题嵌入融入到图神经网络的聚合过程中，模型可以更好地理解问题，并选择与问题相关的KG信息。此外，QAP还利用全局注意力机制来捕获不同答案选项之间的关系，从而推断出更多有用的知识。

技术框架：QAP的整体框架包括以下几个主要模块：1) 问题和答案选项的嵌入模块，用于将文本信息转换为向量表示；2) 知识图谱的构建模块，用于构建与问题相关的子图；3) 问题感知的图神经网络聚合模块，用于将问题嵌入融入到GNN的聚合过程中，动态评估KG的相关性；4) 全局注意力模块，用于捕获不同答案选项之间的关系；5) 软提示生成模块，用于生成最终的软提示，并将其输入到大语言模型中。

关键创新：QAP最重要的技术创新点在于其问题感知的知识图谱提示机制。与现有方法相比，QAP能够根据问题的内容动态地评估KG的相关性，从而生成更精准、更有效的软提示。此外，QAP还利用全局注意力机制来捕获不同答案选项之间的关系，从而推断出更多有用的知识，进一步提升了模型的性能。

关键设计：QAP的关键设计包括：1) 使用预训练语言模型（如BERT）来生成问题和答案选项的嵌入；2) 使用关系抽取模型从文本中抽取实体和关系，构建知识图谱；3) 使用图注意力网络（GAT）作为图神经网络的聚合模块；4) 使用多头注意力机制作为全局注意力模块；5) 使用可学习的线性层将GNN的输出转换为软提示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QAP在多个知识密集型多项选择问答数据集上取得了显著的性能提升。例如，在CommonsenseQA数据集上，QAP的准确率比现有最佳方法提高了超过3个百分点。此外，消融实验表明，问题感知机制和全局注意力机制都对QAP的性能提升起到了重要作用。

🎯 应用场景

该研究成果可应用于各种需要知识增强的大语言模型应用场景，例如智能问答系统、知识图谱推理、机器阅读理解等。通过提供更精准的知识提示，可以显著提升大语言模型在这些任务中的性能，使其能够更好地理解和回答复杂的问题。未来，该方法还可以扩展到其他类型的知识源，例如文本数据库、百科全书等，进一步提升大语言模型的知识获取和推理能力。

📄 摘要（原文）

Large Language Models (LLMs) often struggle with tasks requiring external knowledge, such as knowledge-intensive Multiple Choice Question Answering (MCQA). Integrating Knowledge Graphs (KGs) can enhance reasoning; however, existing methods typically demand costly fine-tuning or retrieve noisy KG information. Recent approaches leverage Graph Neural Networks (GNNs) to generate KG-based input embedding prefixes as soft prompts for LLMs but fail to account for question relevance, resulting in noisy prompts. Moreover, in MCQA tasks, the absence of relevant KG knowledge for certain answer options remains a significant challenge. To address these issues, we propose Question-Aware Knowledge Graph Prompting (QAP), which incorporates question embeddings into GNN aggregation to dynamically assess KG relevance. QAP employs global attention to capture inter-option relationships, enriching soft prompts with inferred knowledge. Experimental results demonstrate that QAP outperforms state-of-the-art methods across multiple datasets, highlighting its effectiveness.