CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

📄 arXiv: 2503.16356v3 📥 PDF

作者: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

分类: cs.CL, cs.AI, cs.CV, cs.IR, cs.LG

发布日期: 2025-03-20 (更新: 2025-11-20)

备注: EMNLP 2025

🔗 代码/项目: GITHUB

💡 一句话要点

CaKE：通过电路感知编辑实现知识学习器的泛化能力提升

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 多跳推理 电路分析 泛化能力

📋 核心要点

  1. 现有知识编辑方法在多跳推理任务中泛化能力不足，无法有效利用更新后的知识。
  2. CaKE通过电路感知编辑，引导模型为新知识构建合适的推理电路，从而提升泛化能力。
  3. 实验表明，CaKE在多跳推理任务中显著提升了准确率，并降低了内存需求。

📝 摘要（中文）

知识编辑(KE)旨在修改大型语言模型(LLM)中过时或不正确的信息。虽然现有的KE方法可以更新孤立的事实，但它们通常无法将这些更新推广到依赖于修改后知识的多跳推理任务。通过分析推理电路——LLM用于基于知识的推理的神经通路，我们发现当前层局部化的KE方法(例如，MEMIT, WISE)仅编辑单个或几个模型层，无法充分地将更新后的知识集成到这些推理通路中。为了解决这个限制，我们提出了CaKE(电路感知知识编辑)，一种新颖的方法，可以增强更新后的知识在LLM中的有效集成。通过仅利用少量由我们的基于电路的分析指导的精选数据样本，CaKE刺激模型为新合并的知识开发适当的推理电路。实验表明，CaKE能够更准确和一致地在相关推理任务中使用编辑后的知识，在MQuAKE数据集上的多跳推理准确率平均提高了20%，同时比现有的KE方法需要更少的内存。我们发布了代码和数据在https://github.com/zjunlp/CaKE。

🔬 方法详解

问题定义：现有知识编辑方法（如MEMIT、WISE）通常只修改模型中的少数几层，导致更新后的知识无法有效地融入到LLM的推理电路中，从而在多跳推理等复杂任务中泛化能力不足。这些方法虽然可以更新单个事实，但无法保证模型在需要组合多个知识点进行推理时，能够正确地使用更新后的信息。

核心思路：CaKE的核心思路是基于对LLM推理电路的分析，通过有针对性地编辑模型，促使模型为新知识构建合适的推理电路。这意味着不仅要更新知识本身，还要确保模型能够将这些知识与其他相关知识联系起来，形成完整的推理路径。

技术框架：CaKE的技术框架主要包含以下几个步骤：1) 使用电路分析技术识别与特定知识相关的推理电路；2) 基于电路分析的结果，选择少量精选数据样本，这些样本能够有效地激活和训练相关的推理电路；3) 使用这些数据样本对模型进行微调，从而引导模型为新知识构建合适的推理电路。

关键创新：CaKE的关键创新在于其电路感知的编辑方式。与传统的层局部化编辑方法不同，CaKE关注的是知识在模型内部的流动和连接，通过编辑推理电路来提升知识的泛化能力。这种方法能够更有效地将更新后的知识融入到模型的推理过程中，从而提高模型在复杂任务中的表现。

关键设计：CaKE的关键设计包括：1) 使用特定的电路分析技术来识别与目标知识相关的神经元和连接；2) 设计一种损失函数，鼓励模型在更新知识的同时，保持相关推理电路的稳定性和一致性；3) 选择少量但具有代表性的数据样本，这些样本能够有效地激活和训练相关的推理电路。具体参数设置和网络结构的选择可能依赖于具体的LLM架构和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CaKE在MQuAKE数据集上的多跳推理准确率平均提高了20%，显著优于现有的知识编辑方法。此外，CaKE只需要少量精选数据样本进行微调，降低了计算成本和内存需求，使其更易于部署和应用。实验结果表明，CaKE能够更准确和一致地在相关推理任务中使用编辑后的知识。

🎯 应用场景

CaKE可应用于各种需要知识更新和推理的场景，例如问答系统、对话系统、知识图谱推理等。它可以帮助LLM及时纠正错误信息，适应不断变化的知识环境，并提高在复杂推理任务中的准确性和可靠性。该方法在教育、医疗、金融等领域具有广泛的应用前景。

📄 摘要（原文）

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they often fail to generalize these updates to multi-hop reasoning tasks that rely on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we find that current layer-localized KE approaches (e.g., MEMIT, WISE), which edit only single or a few model layers, inadequately integrate updated knowledge into these reasoning pathways. To address this limitation, we present CaKE (Circuit-aware Knowledge Editing), a novel method that enhances the effective integration of updated knowledge in LLMs. By only leveraging a few curated data samples guided by our circuit-based analysis, CaKE stimulates the model to develop appropriate reasoning circuits for newly incorporated knowledge. Experiments show that CaKE enables more accurate and consistent use of edited knowledge across related reasoning tasks, achieving an average improvement of 20% in multi-hop reasoning accuracy on the MQuAKE dataset while requiring less memory than existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.