Deliberation on Priors: Trustworthy Reasoning of Large Language Models on Knowledge Graphs

📄 arXiv: 2505.15210v3 📥 PDF

作者: Jie Ma, Ning Qu, Zhitao Gao, Rui Xing, Jun Liu, Hongbin Pei, Jiang Xie, Linyun Song, Pinghui Wang, Jing Tao, Zhou Su

分类: cs.CL, cs.IR

发布日期: 2025-05-21 (更新: 2025-12-22)

备注: Accepted by NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Deliberation over Priors (DP)框架，提升大语言模型在知识图谱上的推理可信度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 大语言模型 推理 知识蒸馏 可信推理 检索增强生成 结构先验 约束先验

📋 核心要点

  1. 现有基于知识图谱检索增强生成的方法未能充分利用知识图谱中的结构信息和约束。
  2. DP框架通过渐进式知识蒸馏和推理-自省策略，将知识图谱先验融入LLM，提升推理可信度。
  3. 实验表明，DP在多个数据集上取得了显著提升，尤其在ComplexWebQuestions数据集上Hit@1提升13%。

📝 摘要（中文）

本文提出了一种名为Deliberation over Priors (DP)的可信推理框架，旨在解决大语言模型(LLM)因知识不足或过时而产生的幻觉问题。DP框架充分利用知识图谱(KG)中蕴含的先验知识，特别是其结构信息和显式/隐式约束。通过监督微调和Kahneman-Tversky优化相结合的渐进式知识蒸馏策略，将结构先验融入LLM，提高关系路径生成的忠实性。此外，该框架采用推理-自省策略，引导LLM基于提取的约束先验执行精细的推理验证，确保响应生成的可靠性。在三个基准数据集上的大量实验表明，DP取得了新的state-of-the-art性能，尤其是在ComplexWebQuestions数据集上，Hit@1指标提升了13%，并生成了高度可信的响应。各项分析验证了其灵活性和实用性。

🔬 方法详解

问题定义：现有基于知识图谱的检索增强生成方法，在利用知识图谱的结构信息（例如关系路径）和约束（例如实体类型约束）方面存在不足，导致大语言模型在推理过程中产生幻觉，生成不可靠的答案。这些方法没有充分利用知识图谱中蕴含的丰富先验知识。

核心思路：DP框架的核心思路是通过显式地将知识图谱中的结构先验和约束先验融入到大语言模型的推理过程中，从而提高推理的忠实性和可靠性。具体来说，利用知识蒸馏将结构信息传递给LLM，并利用推理自省机制来验证生成的答案是否符合知识图谱的约束。

技术框架：DP框架包含两个主要阶段：1) 基于结构先验的忠实关系路径生成：采用渐进式知识蒸馏策略，通过监督微调和Kahneman-Tversky优化，将知识图谱的结构信息融入LLM，提升关系路径生成的准确性。2) 基于约束先验的可靠响应生成：采用推理-自省策略，提取知识图谱中的约束先验，并引导LLM基于这些约束执行精细的推理验证，确保生成响应的可靠性。

关键创新：DP框架的关键创新在于：1) 提出了一种渐进式知识蒸馏策略，有效地将知识图谱的结构信息融入到大语言模型中。2) 引入了一种推理-自省策略，利用知识图谱的约束先验来验证生成答案的可靠性。与现有方法相比，DP框架更全面地利用了知识图谱中的先验知识，从而提高了推理的可信度。

关键设计：在结构先验融入阶段，使用了Kahneman-Tversky优化，这是一种行为经济学中的概念，用于模拟人类在决策过程中的风险规避行为，从而提高模型对关系路径选择的准确性。在推理-自省阶段，设计了专门的提示模板，引导LLM进行约束验证，并根据验证结果调整生成策略。损失函数方面，采用了交叉熵损失函数进行监督微调，并结合了Kahneman-Tversky优化损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DP框架在三个基准数据集上取得了显著的性能提升，尤其是在ComplexWebQuestions数据集上，Hit@1指标提升了13%，达到了新的state-of-the-art水平。此外，消融实验验证了结构先验和约束先验的有效性，案例研究表明DP框架能够生成更可信的响应。

🎯 应用场景

该研究成果可应用于问答系统、智能助手、知识图谱补全等领域，尤其是在需要高可信度推理的场景下，例如医疗诊断、金融分析等。通过提高大语言模型在知识图谱上的推理能力，可以提升这些应用的准确性和可靠性，并减少错误信息的传播。

📄 摘要（原文）

Knowledge graph-based retrieval-augmented generation seeks to mitigate hallucinations in Large Language Models (LLMs) caused by insufficient or outdated knowledge. However, existing methods often fail to fully exploit the prior knowledge embedded in knowledge graphs (KGs), particularly their structural information and explicit or implicit constraints. The former can enhance the faithfulness of LLMs' reasoning, while the latter can improve the reliability of response generation. Motivated by these, we propose a trustworthy reasoning framework, termed Deliberation over Priors (DP), which sufficiently utilizes the priors contained in KGs. Specifically, DP adopts a progressive knowledge distillation strategy that integrates structural priors into LLMs through a combination of supervised fine-tuning and Kahneman-Tversky optimization, thereby improving the faithfulness of relation path generation. Furthermore, our framework employs a reasoning-introspection strategy, which guides LLMs to perform refined reasoning verification based on extracted constraint priors, ensuring the reliability of response generation. Extensive experiments on three benchmark datasets demonstrate that DP achieves new state-of-the-art performance, especially a Hit@1 improvement of 13% on the ComplexWebQuestions dataset, and generates highly trustworthy responses. We also conduct various analyses to verify its flexibility and practicality. The code is available at https://github.com/reml-group/Deliberation-on-Priors.