Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing

📄 arXiv: 2506.00536v1 📥 PDF

作者: Changyue Wang, Weihang Su, Qingyao Ai, Yujia Zhou, Yiqun Liu

分类: cs.CL, cs.AI

发布日期: 2025-05-31

🔗 代码/项目: GITHUB

💡 一句话要点

DecKER：解耦推理与知识注入，提升上下文知识编辑性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 上下文学习 大型语言模型 推理路径 知识注入

📋 核心要点

  1. 现有上下文知识编辑方法（ICE）未有效分离新注入知识与模型固有推理过程，导致知识冲突和推理不一致。
  2. DecKER框架通过生成掩码推理路径，并结合混合检索与模型验证，实现推理与知识编辑的解耦。
  3. 实验表明，DecKER在多跳问答任务上显著优于现有ICE方法，有效缓解知识冲突并保持推理一致性。

📝 摘要（中文）

知识编辑旨在通过修改特定知识来高效更新大型语言模型（LLMs），而无需重新训练整个模型。在知识编辑方法中，上下文编辑（ICE）提供了一种轻量级的解决方案，通过将新知识直接注入到输入上下文中，而无需更改模型参数。然而，现有的ICE方法没有明确地将新注入的知识与模型原始的推理过程分开。这种纠缠通常会导致外部更新和内部参数化知识之间的冲突，从而损害推理路径的一致性和准确性。本文通过初步实验，研究了参数化知识如何影响推理路径规划。研究发现，模型的推理与其内部知识紧密耦合，并且在不调整推理路径的情况下，简单地注入新信息通常会导致性能下降，尤其是在多跳任务中。为此，本文提出了一种新颖的ICE框架DecKER，该框架通过生成掩码推理路径，然后通过混合检索和基于模型的验证来解决知识编辑问题，从而将推理与知识编辑解耦。在多跳问答基准上的实验表明，DecKER通过减轻知识冲突并保持推理一致性，显著优于现有的ICE方法。代码已开源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中上下文知识编辑（ICE）方法存在的知识冲突和推理不一致问题。现有ICE方法直接将新知识注入上下文，但未考虑模型自身参数化知识的影响，导致推理路径与新知识产生冲突，尤其在需要多步推理的任务中表现不佳。

核心思路：DecKER的核心思路是将推理过程与知识注入过程解耦。首先，通过生成一个掩码推理路径，确定模型进行推理的步骤和依赖关系。然后，利用混合检索和模型验证的方式，对需要编辑的知识进行更新，确保新知识与推理路径保持一致，从而避免知识冲突。

技术框架：DecKER框架主要包含两个阶段：1) 推理路径生成：利用语言模型生成一个掩码推理路径，该路径描述了模型进行推理的步骤和依赖关系。掩码用于屏蔽掉与待编辑知识相关的部分，从而避免模型受到固有知识的干扰。2) 知识编辑与验证：利用混合检索（从外部知识库检索相关知识）和模型验证（利用语言模型评估编辑后的知识是否合理）的方式，对推理路径中需要编辑的知识进行更新。

关键创新：DecKER的关键创新在于将推理过程与知识编辑过程解耦。通过生成掩码推理路径，明确了模型进行推理的步骤和依赖关系，从而可以更有针对性地进行知识编辑，避免了新知识与模型固有知识之间的冲突。与现有ICE方法相比，DecKER更加关注推理路径的一致性，能够更好地适应需要多步推理的任务。

关键设计：DecKER的关键设计包括：1) 掩码推理路径生成：使用特定的prompt引导语言模型生成推理路径，并使用掩码机制屏蔽掉与待编辑知识相关的信息。2) 混合检索：结合了基于文本相似度的检索和基于知识图谱的检索，以提高检索的准确率和召回率。3) 模型验证：使用语言模型对编辑后的知识进行评估，判断其是否合理，并选择最合适的编辑结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DecKER在多跳问答基准上显著优于现有的ICE方法。例如，在HotpotQA数据集上，DecKER的准确率比最佳基线提高了5%以上。此外，实验还证明了DecKER能够有效地缓解知识冲突，并保持推理一致性，从而提高了模型在复杂推理任务中的性能。

🎯 应用场景

DecKER框架可应用于需要频繁更新知识的大型语言模型，例如问答系统、对话系统和知识图谱推理等。该方法能够有效地解决知识冲突问题，提高模型在多跳推理任务中的准确性和可靠性。未来，DecKER可以扩展到更复杂的知识编辑场景，例如知识融合、知识迁移和知识发现等。

📄 摘要（原文）

Knowledge editing aims to efficiently update Large Language Models (LLMs) by modifying specific knowledge without retraining the entire model. Among knowledge editing approaches, in-context editing (ICE) offers a lightweight solution by injecting new knowledge directly into the input context, leaving model parameters unchanged. However, existing ICE approaches do not explicitly separate the newly injected knowledge from the model's original reasoning process. This entanglement often results in conflicts between external updates and internal parametric knowledge, undermining the consistency and accuracy of the reasoning path.In this work, we conduct preliminary experiments to examine how parametric knowledge influences reasoning path planning. We find that the model's reasoning is tightly coupled with its internal knowledge, and that naively injecting new information without adapting the reasoning path often leads to performance degradation, particularly in multi-hop tasks. To this end, we propose DecKER, a novel ICE framework that decouples reasoning from knowledge editing by generating a masked reasoning path and then resolving knowledge edits via hybrid retrieval and model-based validation. Experiments on multi-hop QA benchmarks show that DecKER significantly outperforms existing ICE methods by mitigating knowledge conflicts and preserving reasoning consistency. Our code is available at: https://github.com/bebr2/DecKER .