Robust Knowledge Editing via Explicit Reasoning Chains for Distractor-Resilient Multi-Hop QA

📄 arXiv: 2509.01468v1 📥 PDF

作者: Yuchen Wu, Liang Ding, Li Shen, Dacheng Tao

分类: cs.CL

发布日期: 2025-09-01

备注: EMNLP 2025 Findings

💡 一句话要点

提出Reason-KE框架，通过显式推理链实现LLM在多跳QA中鲁棒的知识编辑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 多跳问答 推理链 鲁棒性

📋 核心要点

  1. 现有知识编辑方法在多跳QA中易受干扰信息影响，鲁棒性不足，且流程复杂。
  2. Reason-KE通过显式推理链，引导LLM进行事实确认、相关性判断、选择性应用和最终推理，从而过滤干扰。
  3. 在MQuAKE-CF数据集上，Reason-KE显著提升了Qwen2.5-7B模型的多跳QA准确率，并展现出强大的抗干扰能力。

📝 摘要（中文）

大型语言模型（LLMs）蕴含着大量的世界知识，但一旦训练完成就处于静态状态，通过完全重新训练来及时整合新兴事实的成本非常高昂。因此，知识编辑技术应运而生，旨在将特定事实注入或覆盖到LLMs中，然而，这些技术要么过度依赖表面线索，要么产生复杂、迭代的流程，这些流程在嘈杂的多跳条件下会崩溃。我们引入了Reason-KE，这是一个基于端到端推理链的编辑框架，它引导预训练的LLM通过四个结构化阶段——事实确认、相关性确定、选择性应用和最终推理——以单次过滤干扰因素。在包含多达四个不相关事实的MQuAKE-CF上训练后，Reason-KE将Qwen2.5-7B的多跳QA准确率提升至90.2%，同时在严重干扰下仅下降6.3%，在答案泄露时下降不到1%。我们的定量分析证实了Reason-KE的弹性和效率，为可靠的LLM知识更新建立了新的最先进水平。

🔬 方法详解

问题定义：现有的知识编辑方法在处理多跳问答任务时，容易受到干扰信息的影响，导致性能下降。特别是在包含多个无关事实的情况下，模型难以区分相关信息，从而做出错误的判断。此外，一些方法依赖于复杂的迭代流程，这在噪声环境下容易崩溃，影响编辑的可靠性。

核心思路：Reason-KE的核心思路是利用显式的推理链来引导LLM进行知识编辑。通过将编辑过程分解为多个结构化的阶段，模型可以逐步地确认事实、判断相关性、选择性地应用知识，并最终进行推理。这种显式的推理过程有助于模型更好地理解问题和知识，从而提高编辑的鲁棒性和准确性。

技术框架：Reason-KE框架包含四个主要阶段：1) 事实确认：验证输入事实的真实性；2) 相关性确定：判断哪些事实与当前问题相关；3) 选择性应用：选择与问题相关的知识进行应用；4) 最终推理：基于选择的知识进行推理，得出答案。整个框架采用端到端的方式进行训练，无需复杂的迭代流程。

关键创新：Reason-KE的关键创新在于引入了显式的推理链，将知识编辑过程分解为多个可解释的步骤。与以往依赖隐式知识或复杂迭代流程的方法不同，Reason-KE通过明确的推理步骤来提高编辑的鲁棒性和可控性。这种方法使得模型能够更好地应对干扰信息，并做出更准确的判断。

关键设计：Reason-KE使用预训练的LLM作为基础模型，并通过微调来训练推理链的各个阶段。损失函数的设计旨在鼓励模型在每个阶段做出正确的判断，例如，使用交叉熵损失来训练相关性判断模块。此外，论文还探索了不同的推理链结构和训练策略，以进一步提高模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Reason-KE在MQuAKE-CF数据集上取得了显著的性能提升。在包含多达四个不相关事实的情况下，Reason-KE将Qwen2.5-7B的多跳QA准确率提升至90.2%，同时在严重干扰下仅下降6.3%，在答案泄露时下降不到1%。实验结果表明，Reason-KE具有强大的抗干扰能力和鲁棒性，为LLM知识编辑提供了一种新的有效方法。

🎯 应用场景

Reason-KE可应用于需要持续更新知识的LLM应用场景，例如智能客服、知识图谱问答、医疗诊断等。该方法能够快速、可靠地将新知识注入到LLM中，提高模型的准确性和实用性。未来，该技术有望扩展到更复杂的知识编辑任务，例如知识融合、知识推理等。

📄 摘要（原文）

Large language models (LLMs) encode vast amounts of world knowledge but remain static once trained, making the timely integration of emerging facts prohibitively expensive via full retraining. Knowledge-editing techniques have thus emerged to inject or overwrite specific facts into LLMs, yet they either over-rely on superficial cues or incur complex, iterative pipelines that collapse under noisy, multi-hop conditions. We introduce Reason-KE, an end-to-end reasoning-chain-based editing framework that steers a pretrained LLM through four structured stages-fact acknowledgment, relevance determination, selective application, and final reasoning-to filter distractors in a single pass. Trained on MQuAKE-CF with up to four irrelevant facts, Reason-KE elevates Qwen2.5-7B's multi-hop QA accuracy to 90.2% while suffering merely a 6.3% drop under heavy distraction and <1% when answers are leaked. Our quantitative analysis confirms Reason-KE's resilience and efficiency, establishing a new state-of-the-art for reliable LLM knowledge updates.