KDCM: Reducing Hallucination in LLMs through Explicit Reasoning Structures

📄 arXiv: 2601.04086v1 📥 PDF

作者: Jinbo Hao, Kai Yang, Qingzhen Su, Yifan Li, Chao Jiang

分类: cs.CL

发布日期: 2026-01-07

💡 一句话要点

KDCM：通过显式推理结构减少大型语言模型中的幻觉

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识蒸馏 知识图谱 幻觉抑制 可编程推理

📋 核心要点

  1. 大型语言模型容易产生幻觉，现有方法难以有效利用外部知识进行约束。
  2. 提出KDCM框架，通过可编程模块引导知识图谱探索，显式调节中间推理步骤。
  3. 实验表明，KDCM显著提高了上下文建模能力，减少了幻觉，并在多个指标上取得了显著提升。

📝 摘要（中文）

为了缓解大型语言模型（LLMs）中的幻觉问题，我们提出了一个框架，该框架专注于由提示引起的错误。我们的方法扩展了一种链式知识蒸馏方法，通过结合一个可编程模块来指导知识图谱的探索。该模块作为可执行代码嵌入到推理提示中，允许模型在推理过程中利用外部结构化知识。基于此设计，我们开发了一种增强的基于蒸馏的推理框架，该框架显式地调节中间推理步骤，从而产生更可靠的预测。我们使用GPT-4和LLaMA-3.3在多个公共基准上评估了所提出的方法。实验结果表明，代码引导的推理显著提高了上下文建模能力，并减少了提示引起的幻觉。具体而言，HIT@1、HIT@3和HIT@5分别提高了15.64%、13.38%和13.28%，并且在多个评估设置中得分超过95%。这些发现表明，所提出的方法有效地约束了错误的推理，同时提高了准确性和可解释性。

🔬 方法详解

问题定义：大型语言模型（LLMs）在生成文本时容易出现“幻觉”现象，即生成不真实或与上下文不符的内容。现有方法在利用外部知识来约束LLM的生成过程方面存在不足，尤其是在提示词本身可能引入错误的情况下，如何有效地利用外部知识图谱进行推理是一个挑战。

核心思路：KDCM的核心思路是将知识图谱的探索过程融入到LLM的推理过程中，通过一个可编程模块来引导LLM利用外部结构化知识。该模块以可执行代码的形式嵌入到推理提示中，使得LLM能够显式地访问和利用知识图谱中的信息，从而减少幻觉的产生。

技术框架：KDCM框架主要包含以下几个关键模块：1) 知识图谱：存储外部知识的结构化数据库。2) 可编程模块：嵌入在推理提示中的可执行代码，用于指导知识图谱的探索。3) 知识蒸馏：利用GPT-4等大型模型生成高质量的推理过程，作为训练数据的目标。4) LLM：使用知识蒸馏后的数据进行训练，使其能够利用可编程模块进行推理。整体流程是，给定一个问题，LLM首先根据提示词和可编程模块生成推理步骤，然后执行这些步骤来访问知识图谱，最后根据获取的知识生成最终答案。

关键创新：KDCM的关键创新在于将知识图谱的探索过程显式地嵌入到LLM的推理过程中。与以往的隐式知识融合方法不同，KDCM通过可编程模块使得LLM能够主动地、可控地访问和利用外部知识，从而提高了推理的准确性和可解释性。此外，KDCM还利用知识蒸馏技术，将大型模型的推理能力迁移到较小的模型上，提高了模型的效率。

关键设计：可编程模块的设计是KDCM的关键。该模块需要能够有效地指导知识图谱的探索，并能够与LLM的推理过程无缝集成。具体实现上，可以使用Python等编程语言来实现该模块，并将其嵌入到提示词中。此外，知识蒸馏过程中的数据选择和损失函数的设计也会影响模型的性能。例如，可以使用交叉熵损失函数来训练LLM，并使用一些技巧来平衡不同推理步骤的权重。

📊 实验亮点

实验结果表明，KDCM框架在多个公共基准上取得了显著的性能提升。具体而言，HIT@1、HIT@3和HIT@5分别提高了15.64%、13.38%和13.28%，并且在多个评估设置中得分超过95%。这些结果表明，KDCM能够有效地减少LLM的幻觉，并提高推理的准确性和可靠性。与基线方法相比，KDCM在上下文建模方面表现出更强的能力。

🎯 应用场景

KDCM框架可应用于需要高度准确性和可靠性的自然语言生成任务，例如问答系统、知识图谱推理、医疗诊断辅助等。通过利用外部知识图谱，KDCM可以减少LLM的幻觉，提高生成内容的质量和可信度。未来，该框架还可以扩展到其他类型的结构化知识，例如数据库和表格，从而进一步提高LLM的应用范围。

📄 摘要（原文）

To mitigate hallucinations in large language models (LLMs), we propose a framework that focuses on errors induced by prompts. Our method extends a chain-style knowledge distillation approach by incorporating a programmable module that guides knowledge graph exploration. This module is embedded as executable code within the reasoning prompt, allowing the model to leverage external structured knowledge during inference. Based on this design, we develop an enhanced distillation-based reasoning framework that explicitly regulates intermediate reasoning steps, resulting in more reliable predictions. We evaluate the proposed approach on multiple public benchmarks using GPT-4 and LLaMA-3.3. Experimental results show that code-guided reasoning significantly improves contextual modeling and reduces prompt-induced hallucinations. Specifically, HIT@1, HIT@3, and HIT@5 increase by 15.64%, 13.38%, and 13.28%, respectively, with scores exceeding 95% across several evaluation settings. These findings indicate that the proposed method effectively constrains erroneous reasoning while improving both accuracy and interpretability.