Mitigating Prompt-Induced Hallucinations in Large Language Models via Structured Reasoning

📄 arXiv: 2601.02739v1 📥 PDF

作者: Jinbo Hao, Kai Yang, Qingzhen Su, Yang Chen, Yifan Li, Chao Jiang

分类: cs.CL

发布日期: 2026-01-06

💡 一句话要点

提出基于结构化推理的知识蒸馏链模型，缓解大语言模型中的提示诱导幻觉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 幻觉缓解 知识蒸馏 结构化推理 代码模块 知识图谱 思维链提示

📋 核心要点

  1. 现有大语言模型易受提示诱导产生幻觉，输出不准确或虚假信息，影响其可靠性。
  2. 引入代码模块指导知识图谱探索，并将代码融入思维链提示，提供结构化外部知识，约束模型推理。
  3. 实验表明，该方法显著提升模型捕获上下文信息能力，有效缓解幻觉，HIT@1指标提升15.64%。

📝 摘要（中文）

本文旨在解决大语言模型（LLMs）中存在的幻觉问题，提出了一种缓解提示诱导幻觉的方法。该方法基于知识蒸馏链式模型，引入了一个代码模块来指导知识图谱的探索，并将代码作为思维链提示的一部分，形成外部知识输入，为模型提供更准确和结构化的信息。在此基础上，开发了一种改进的知识蒸馏链式模型，并利用它来分析和约束LLMs的推理过程，从而提高推理准确性。在多个公共数据集上使用GPT-4和LLaMA-3.3进行了实证评估。实验结果表明，结合代码模块显著增强了模型捕获上下文信息的能力，并有效缓解了提示诱导的幻觉。具体而言，HIT@1、HIT@3和HIT@5分别提高了15.64%、13.38%和13.28%。此外，所提出的方法在多个评估设置中实现了超过95%的HIT@1、HIT@3和HIT@5分数。这些结果表明，该方法在提高大语言模型的准确性和可验证性的同时，显著减少了幻觉行为。

🔬 方法详解

问题定义：论文旨在解决大语言模型中由提示诱导产生的幻觉问题。现有方法在处理复杂推理任务时，容易受到提示的影响而产生不准确或虚假的输出，缺乏对外部知识的有效利用和结构化推理的约束。

核心思路：论文的核心思路是通过引入代码模块，将外部知识图谱的探索过程与模型的推理过程相结合，利用代码的结构化特性来引导模型进行更准确的推理。通过将代码作为思维链提示的一部分，为模型提供更可靠的外部知识输入，从而减少幻觉的产生。

技术框架：整体框架基于知识蒸馏链式模型，主要包含以下几个模块：1) 知识图谱探索模块：利用代码模块查询和探索知识图谱，获取相关信息。2) 代码集成模块：将生成的代码片段融入到思维链提示中，作为外部知识输入。3) 改进的知识蒸馏链式模型：利用代码增强的提示来指导模型的推理过程，并通过知识蒸馏提高模型的推理准确性。4) 推理约束模块：分析和约束LLMs的推理过程，减少幻觉的产生。

关键创新：最重要的创新点在于将代码模块与知识蒸馏链式模型相结合，利用代码的结构化特性来引导知识图谱的探索和模型的推理过程。与传统方法相比，该方法能够更有效地利用外部知识，并对模型的推理过程进行更强的约束，从而显著减少幻觉的产生。

关键设计：代码模块的具体实现方式（例如，使用特定的API或查询语言），知识图谱的选择（例如，ConceptNet、Wikidata），以及如何将代码片段有效地融入到思维链提示中。此外，知识蒸馏过程中的损失函数设计，以及如何利用代码模块来约束模型的推理过程，也是关键的设计细节。具体的参数设置和网络结构等技术细节在论文中可能有所描述，但此处无法得知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个公共数据集上显著提升了模型的性能。具体而言，HIT@1、HIT@3和HIT@5指标分别提高了15.64%、13.38%和13.28%。此外，在多个评估设置中，该方法实现了超过95%的HIT@1、HIT@3和HIT@5分数，表明其在缓解幻觉问题方面具有显著效果。

🎯 应用场景

该研究成果可应用于问答系统、知识图谱推理、智能助手等领域，提高大语言模型在这些应用中的准确性和可靠性，减少错误信息的传播。通过结构化推理和外部知识的引入，可以提升模型在复杂任务中的表现，增强其在实际应用中的价值和影响力。

📄 摘要（原文）

To address hallucination issues in large language models (LLMs), this paper proposes a method for mitigating prompt-induced hallucinations. Building on a knowledge distillation chain-style model, we introduce a code module to guide knowledge-graph exploration and incorporate code as part of the chain-of-thought prompt, forming an external knowledge input that provides more accurate and structured information to the model. Based on this design, we develop an improved knowledge distillation chain-style model and leverage it to analyze and constrain the reasoning process of LLMs, thereby improving inference accuracy. We empirically evaluate the proposed approach using GPT-4 and LLaMA-3.3 on multiple public datasets. Experimental results demonstrate that incorporating code modules significantly enhances the model's ability to capture contextual information and effectively mitigates prompt-induced hallucinations. Specifically, HIT@1, HIT@3, and HIT@5 improve by 15.64%, 13.38%, and 13.28%, respectively. Moreover, the proposed method achieves HIT@1, HIT@3, and HIT@5 scores exceeding 95% across several evaluation settings. These results indicate that the proposed approach substantially reduces hallucination behavior while improving the accuracy and verifiability of large language models.