Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning

📄 arXiv: 2405.01649v4 📥 PDF

作者: Tianle Xia, Liang Ding, Guojia Wan, Yibing Zhan, Bo Du, Dacheng Tao

分类: cs.CL

发布日期: 2024-05-02 (更新: 2025-03-01)

💡 一句话要点

提出LACT框架，通过逻辑感知课程调整提升LLM在知识图谱上的复杂推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱推理 复杂查询 大型语言模型 课程学习 指令调整 逻辑推理 二叉树分解

📋 核心要点

  1. 现有知识图谱推理方法难以有效共享世界知识，限制了复杂逻辑推理的性能。
  2. LACT框架通过二叉树分解增强逻辑查询，并利用逻辑感知课程学习提升LLM的推理能力。
  3. 实验结果表明，LACT在多个数据集上显著优于现有方法，平均MRR得分提升5.5%。

📝 摘要（中文）

本文旨在解决不完整知识图谱（KG）上的复杂查询推理问题。现有方法主要集中于学习实体/关系嵌入，并使用神经网络模拟一阶逻辑运算符，但由于无法共享世界知识来改进逻辑推理，导致性能不佳。为此，我们提出了一种基于大型语言模型（LLM）的知识图谱复杂推理框架，包含一个基于课程的逻辑感知指令调整框架，命名为LACT。具体而言，我们通过二叉树分解来增强任意一阶逻辑查询，以激发LLM的推理能力。为了解决不同类型复杂查询之间的难度差异，我们设计了一个简单而灵活的逻辑感知课程学习框架。在广泛使用的数据集上的实验表明，LACT相比现有先进方法有显著改进（平均MRR得分提高+5.5%），达到了新的state-of-the-art。

🔬 方法详解

问题定义：论文旨在解决知识图谱（KG）上复杂查询的推理问题。现有的方法，例如基于嵌入的方法和基于神经网络模拟一阶逻辑的方法，在处理复杂逻辑推理时存在局限性，主要原因是它们难以有效地利用和共享世界知识，导致推理性能受限。特别是在处理涉及多个逻辑运算符的复杂查询时，性能下降明显。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语言理解和推理能力，并结合知识图谱的结构化信息，来提升复杂查询的推理性能。通过将复杂的逻辑查询分解为更简单的子查询，并使用逻辑感知的课程学习策略，逐步引导LLM学习如何进行复杂推理。

技术框架：LACT框架包含以下几个主要模块：1) 查询增强模块：使用二叉树分解将复杂的一阶逻辑查询分解为多个子查询。2) 指令调整模块：利用分解后的查询及其答案，构建指令数据集，用于微调LLM。3) 逻辑感知课程学习模块：根据查询的逻辑复杂度，设计课程学习策略，逐步增加训练难度。4) 推理模块：使用微调后的LLM进行复杂查询推理，并返回答案。

关键创新：论文的关键创新在于：1) 提出了一种基于LLM的知识图谱复杂推理框架，充分利用了LLM的语言理解和推理能力。2) 设计了一种逻辑感知的课程学习策略，可以有效地解决不同难度查询之间的差异，提升LLM的推理性能。3) 通过二叉树分解增强逻辑查询，使得LLM能够更好地理解和处理复杂逻辑关系。

关键设计：在查询增强模块中，二叉树分解的具体方式和分解粒度会影响最终的推理效果。在指令调整模块中，指令的设计和数据集的构建至关重要，需要保证指令的清晰性和数据集的质量。在逻辑感知课程学习模块中，课程的划分和学习策略的设计需要根据具体的任务和数据集进行调整。损失函数采用标准的交叉熵损失函数，优化器采用AdamW优化器。具体的网络结构取决于所使用的LLM，例如可以使用Llama2等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LACT框架在多个公开数据集上取得了显著的性能提升，平均MRR得分提高了5.5%，达到了新的state-of-the-art。与现有基于嵌入的方法和基于神经网络的方法相比，LACT在处理复杂逻辑查询时表现出更强的推理能力和泛化能力。消融实验也验证了逻辑感知课程学习策略的有效性。

🎯 应用场景

该研究成果可应用于智能问答系统、知识图谱补全、推荐系统等领域。通过提升知识图谱上的复杂推理能力，可以更准确地理解用户意图，提供更精准的答案和推荐，从而提高用户体验和系统性能。未来，该方法有望应用于更复杂的知识图谱推理任务，例如医疗诊断、金融风险评估等。

📄 摘要（原文）

Answering complex queries over incomplete knowledge graphs (KGs) is a challenging job. Most previous works have focused on learning entity/relation embeddings and simulating first-order logic operators with various neural networks. However, they are bottlenecked by the inability to share world knowledge to improve logical reasoning, thus resulting in suboptimal performance. In this paper, we propose a complex reasoning schema over KG upon large language models (LLMs), containing a curriculum-based logical-aware instruction tuning framework, named LACT. Specifically, we augment the arbitrary first-order logical queries via binary tree decomposition, to stimulate the reasoning capability of LLMs. To address the difficulty gap among different types of complex queries, we design a simple and flexible logic-aware curriculum learning framework. Experiments across widely used datasets demonstrate that LACT has substantial improvements~(brings an average +5.5% MRR score) over advanced methods, achieving the new state-of-the-art.