Stepwise Reasoning Enhancement for LLMs via External Subgraph Generation

📄 arXiv: 2606.04454v1 📥 PDF

作者: Xin Zhang, Yang Cao, Baoxing Wu, Kai Song, Siying Li

分类: cs.CL

发布日期: 2026-06-03

💡 一句话要点

提出SGR框架以解决LLMs多步推理中的一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理增强 知识图谱 子图生成 逻辑一致性 事实基础 可解释性 Cypher推理

📋 核心要点

  1. 现有大型语言模型在复杂推理任务中存在逻辑一致性和事实基础不足的问题，影响其推理能力。
  2. 本文提出SGR框架，通过外部知识图谱生成查询相关的子图，增强语言模型的逐步推理能力。
  3. 实验结果显示，SGR在多个基准数据集上显著提高了推理准确性，相较于标准提示和知识增强基线有明显提升。

📝 摘要（中文）

大型语言模型在自然语言生成和推理任务中表现出色，但在复杂的多步推理中仍面临逻辑一致性、事实基础和可解释性等挑战。为了解决这些问题，本文提出了SGR框架，通过查询相关的子图生成将大型语言模型与外部知识图谱相结合。SGR首先提取输入问题的关键实体、关系和约束，构建结构化模式，然后通过模式引导查询从知识图谱中检索紧凑的子图。这些生成的子图提供了明确的关系证据，指导语言模型进行逐步推理。此外，SGR结合了基于Cypher的直接推理与协同推理集成，允许根据模型置信度和图一致性验证和聚合多个推理路径的候选答案。实验结果表明，SGR在CWQ、WebQSP、GrailQA和KQA Pro等基准数据集上提高了推理准确性和Hits@1性能。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多步推理中面临的逻辑一致性和事实基础不足的问题。现有方法往往无法有效利用外部知识，导致推理结果不可靠。

核心思路：SGR框架的核心思想是通过生成与查询相关的外部子图，提供明确的关系证据，指导语言模型进行逐步推理，从而提高推理的准确性和可解释性。

技术框架：SGR的整体架构包括三个主要模块：首先提取输入问题的关键实体和关系，构建结构化模式；其次，通过模式引导查询从知识图谱中检索相关子图；最后，结合基于Cypher的推理与协同推理，验证和聚合候选答案。

关键创新：SGR的主要创新在于动态生成的外部子图，这一方法与传统的静态知识增强方法有本质区别，能够实时提供与当前推理任务相关的知识支持。

关键设计：在设计上，SGR采用了Neo4j数据库进行知识图谱的检索，利用Cypher查询语言进行高效的子图提取。同时，框架中引入了模型置信度和图一致性作为答案验证的标准，确保推理结果的可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SGR在CWQ、WebQSP、GrailQA和KQA Pro等基准数据集上，推理准确性和Hits@1性能均显著提高，具体提升幅度超过了标准提示和多个知识增强基线，验证了框架的有效性。

🎯 应用场景

该研究的潜在应用场景包括智能问答系统、对话系统和知识推理等领域。通过提高推理的准确性和可解释性，SGR框架能够在实际应用中提供更为可靠的决策支持，推动人工智能在复杂任务中的应用。未来，SGR有望与更多类型的知识图谱结合，进一步提升推理能力。

📄 摘要（原文）

Large language models have shown strong performance in natural language generation and downstream reasoning tasks, but they still struggle with logical consistency, factual grounding, and interpretability in complex multi-step reasoning. To address these limitations, this paper proposes SGR, a stepwise reasoning enhancement framework that integrates large language models with external knowledge graphs through query-relevant subgraph generation. Given an input question, SGR first extracts key entities, relations, and constraints to construct a structured schema, then retrieves compact subgraphs from a knowledge graph using schema-guided querying. The generated subgraphs provide explicit relational evidence that guides the language model through step-by-step reasoning. In addition, SGR combines direct Cypher-based reasoning with collaborative reasoning integration, allowing candidate answers from multiple reasoning paths to be validated and aggregated according to both model confidence and graph consistency. Experiments on benchmark datasets including CWQ, WebQSP, GrailQA, and KQA Pro demonstrate that SGR improves reasoning accuracy and Hits@1 performance over standard prompting and several knowledge-enhanced baselines. Ablation studies further show that schema guidance and Neo4j-based retrieval are both crucial to the effectiveness of the framework. These results indicate that dynamically generated external subgraphs can improve the accuracy, robustness, and interpretability of LLM-based reasoning.