Mechanistic Circuit-Based Knowledge Editing in Large Language Models

📄 arXiv: 2604.05876v1 📥 PDF

作者: Tianyi Zhao, Yinhan He, Wendy Zheng, Chen Chen

分类: cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出MCircKE，通过机制性回路编辑提升大语言模型知识更新中的多步推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识编辑 因果回路 多步推理 机制性理解

📋 核心要点

  1. 现有知识编辑方法在处理多步推理时存在“推理差距”，无法有效利用更新后的知识。
  2. MCircKE通过识别并精确编辑负责推理任务的因果回路，实现知识的有效更新和利用。
  3. 实验表明，MCircKE在MQuAKE-3K基准上显著提升了模型在知识编辑中的多跳推理能力。

📝 摘要（中文）

在大语言模型（LLM）部署于真实动态环境时，更新其预训练知识成为一项挑战。现有的知识编辑方法虽然可以可靠地修补孤立的事实，但常常存在“推理差距”，即模型可以回忆起编辑过的事实，但无法在多步推理链中利用它。为了弥合这一差距，我们引入了MCircKE（机制性回路知识编辑），这是一个新颖的框架，能够实现精确的“映射和适应”编辑过程。MCircKE首先识别负责特定推理任务的因果回路，捕捉事实的存储及其逻辑结果的路由。然后，它对外科手术般地更新仅位于此映射回路内的参数。在MQuAKE-3K基准上的大量实验证明了该方法在知识编辑中进行多跳推理的有效性。

🔬 方法详解

问题定义：现有知识编辑方法在更新大语言模型知识时，虽然能成功修改单个事实，但在需要多步推理的场景下，模型无法有效利用这些更新后的知识，导致“推理差距”。这意味着模型虽然记住了新的事实，却无法将其应用于复杂的逻辑推理链中。

核心思路：MCircKE的核心思路是基于机制性理解，认为模型的推理过程可以通过特定的神经元回路来实现。因此，通过识别并精确编辑这些负责特定推理任务的因果回路，可以实现知识的有效更新和利用，从而弥合“推理差距”。

技术框架：MCircKE框架包含两个主要阶段：1) 因果回路识别：该阶段旨在识别负责特定推理任务的神经元回路，包括存储相关事实的神经元以及负责逻辑推理的神经元。这可能涉及到使用因果干预等技术来确定神经元之间的依赖关系。2) 参数外科手术式更新：在识别出因果回路后，MCircKE仅更新该回路内的参数，避免对模型其他部分造成不必要的干扰。这种精确的更新方式有助于保持模型的整体性能，并减少副作用。

关键创新：MCircKE的关键创新在于其基于机制性理解的知识编辑方法。与以往方法不同，MCircKE不是简单地修改模型的参数，而是试图理解模型内部的推理机制，并针对性地修改负责推理的神经元回路。这种方法能够更有效地更新模型的知识，并提高其在多步推理中的能力。

关键设计：具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述。例如，在因果回路识别阶段，可能需要设计特定的损失函数来鼓励模型学习可解释的神经元表示。在参数更新阶段，可能需要使用特定的优化算法来确保更新后的参数能够有效地支持新的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MCircKE在MQuAKE-3K基准测试中表现出色，显著提升了模型在知识编辑中的多跳推理能力。具体性能数据和与现有基线的对比结果需要在论文中查找。该方法通过精确编辑因果回路，有效弥合了知识编辑中的“推理差距”，为大语言模型的知识更新提供了一种新的思路。

🎯 应用场景

MCircKE可应用于需要持续学习和知识更新的大语言模型，例如智能客服、知识图谱问答系统、以及需要根据实时信息进行决策的机器人。该方法能够提升模型在动态环境中的适应能力，并使其能够更好地利用更新后的知识进行推理和决策，具有重要的实际应用价值和潜力。

📄 摘要（原文）

Deploying Large Language Models (LLMs) in real-world dynamic environments raises the challenge of updating their pre-trained knowledge. While existing knowledge editing methods can reliably patch isolated facts, they frequently suffer from a "Reasoning Gap", where the model recalls the edited fact but fails to utilize it in multi-step reasoning chains. To bridge this gap, we introduce MCircKE (\underline{M}echanistic \underline{Circ}uit-based \underline{K}nowledge \underline{E}diting), a novel framework that enables a precise "map-and-adapt" editing procedure. MCircKE first identifies the causal circuits responsible for a specific reasoning task, capturing both the storage of the fact and the routing of its logical consequences. It then surgically update parameters exclusively within this mapped circuit. Extensive experiments on the MQuAKE-3K benchmark demonstrate the effectiveness of the proposed method for multi-hop reasoning in knowledge editing.