Beyond Chains: Bridging Large Language Models and Knowledge Bases in Complex Question Answering

📄 arXiv: 2505.14099v2 📥 PDF

作者: Yihua Zhu, Qianying Liu, Akiko Aizawa, Hidetoshi Shimodaira

分类: cs.CL, cs.IR

发布日期: 2025-05-20 (更新: 2025-11-17)

备注: AAAI2026 Main Track

💡 一句话要点

提出PDRR框架，弥合大语言模型与知识库在复杂问答中的鸿沟

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识库问答 大语言模型 语义解析 知识图谱 复杂问答

📋 核心要点

  1. 现有KBQA方法在大语言模型中存在知识过时和幻觉问题，而KG-RAG方法则难以处理复杂的非链式问题。
  2. PDRR框架通过预测问题类型、分解问题为三元组，并结合知识库检索，引导LLM进行推理，解决复杂问答。
  3. 实验结果表明，PDRR在不同LLM上均优于现有方法，尤其在复杂非链式问题上表现突出。

📝 摘要（中文）

知识库问答（KBQA）旨在利用知识库中的结构化知识回答自然语言问题。虽然纯大语言模型方法具有泛化能力，但存在知识过时、幻觉和缺乏透明性等问题。基于链的KG-RAG方法通过整合外部知识库来解决这些问题，但由于缺乏规划和逻辑结构，仅限于简单的链式结构问题。受语义解析方法的启发，我们提出了PDRR：一个包含预测（Predict）、分解（Decompose）、检索（Retrieve）和推理（Reason）四个阶段的框架。我们的方法首先预测问题类型，并将问题分解为结构化的三元组。然后从知识库中检索相关信息，并引导大语言模型作为代理来推理并完成分解后的三元组。实验结果表明，PDRR在各种大语言模型骨干网络上始终优于现有方法，并在链式结构和非链式复杂问题上都取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决现有知识库问答（KBQA）方法在处理复杂问题时存在的局限性。具体来说，纯大语言模型（LLM）方法虽然具有一定的泛化能力，但容易受到知识过时、产生幻觉以及缺乏透明性的困扰。而基于链的知识图谱检索增强生成（KG-RAG）方法虽然能够利用外部知识库，但由于缺乏有效的规划和逻辑结构，难以处理非链式结构的复杂问题。

核心思路：论文的核心思路是借鉴语义解析的思想，将复杂问题分解为更小的、结构化的单元，然后利用知识库检索相关信息，并引导大语言模型（LLM）对这些单元进行推理和组合，最终得到答案。这种分解和推理的过程使得模型能够更好地理解问题的语义，并利用知识库中的信息来解决复杂问题。

技术框架：PDRR框架包含四个主要阶段：预测（Predict）、分解（Decompose）、检索（Retrieve）和推理（Reason）。首先，预测阶段预测问题的类型。然后，分解阶段将问题分解为结构化的三元组。接着，检索阶段从知识库中检索与分解后的三元组相关的信息。最后，推理阶段引导LLM作为代理，对检索到的信息进行推理，并完成分解后的三元组，最终生成答案。

关键创新：PDRR的关键创新在于其将问题分解为结构化的三元组，并利用知识库检索相关信息，从而有效地引导LLM进行推理。与传统的基于链的KG-RAG方法相比，PDRR能够处理更复杂的非链式问题。与纯LLM方法相比，PDRR能够利用外部知识库，从而避免知识过时和幻觉问题。

关键设计：PDRR框架的具体实现细节包括：问题类型预测器的设计、问题分解策略、知识库检索算法的选择以及LLM推理过程的引导方式。论文可能还涉及损失函数的设计，用于优化各个阶段的性能。具体的参数设置和网络结构等技术细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PDRR框架在各种LLM骨干网络上均优于现有方法，并在链式结构和非链式复杂问题上都取得了优异的性能。具体性能数据和对比基线需要在论文中查找。PDRR的优势在于能够处理更复杂的非链式问题，并利用外部知识库避免知识过时和幻觉问题。

🎯 应用场景

PDRR框架可应用于智能客服、问答系统、知识图谱构建等领域。通过结合大语言模型和知识库，能够更准确、更可靠地回答用户提出的复杂问题，提升用户体验。未来，该方法有望在医疗、金融等专业领域发挥重要作用，辅助决策。

📄 摘要（原文）

Knowledge Base Question Answering (KBQA) aims to answer natural language questions using structured knowledge from KBs. While LLM-only approaches offer generalization, they suffer from outdated knowledge, hallucinations, and lack of transparency. Chain-based KG-RAG methods address these issues by incorporating external KBs, but are limited to simple chain-structured questions due to the absence of planning and logical structuring. Inspired by semantic parsing methods, we propose PDRR: a four-stage framework consisting of Predict, Decompose, Retrieve, and Reason. Our method first predicts the question type and decomposes the question into structured triples. Then retrieves relevant information from KBs and guides the LLM as an agent to reason over and complete the decomposed triples. Experimental results demonstrate that PDRR consistently outperforms existing methods across various LLM backbones and achieves superior performance on both chain-structured and non-chain complex questions.