MEMIT-Merge: Addressing MEMIT's Key-Value Conflicts in Same-Subject Batch Editing for LLMs

📄 arXiv: 2502.07322v3 📥 PDF

作者: Zilu Dong, Xiangqing Shen, Rui Xia

分类: cs.CL, cs.LG

发布日期: 2025-02-11 (更新: 2025-09-09)

备注: Accepted by ACL2025 findings

💡 一句话要点

MEMIT-Merge：解决MEMIT在LLM同主题批量编辑中的Key-Value冲突问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 批量编辑 Key-Value冲突 MEMIT 模型更新 同主题编辑

📋 核心要点

  1. MEMIT在同主题批量知识编辑时，由于Key-Value冲突导致编辑效果显著下降，这是当前方法的主要挑战。
  2. MEMIT-Merge的核心思想是合并共享相同主题的事实的Value计算过程，从而避免Key-Value冲突。
  3. 实验结果表明，在MEMIT编辑成功率下降到50%时，MEMIT-Merge仍能保持90%以上的成功率，显著提升了鲁棒性。

📝 摘要（中文）

随着大型语言模型规模的不断扩大，无需完全重新训练即可修改模型内部知识的知识编辑技术受到了广泛关注。MEMIT作为一种重要的批量编辑算法，因其执行大规模知识修改的能力而脱颖而出。然而，我们发现，当处理包含多个共享相同主题的编辑批次时，MEMIT的编辑效果会显著下降。我们的分析表明，这源于MEMIT的Key-Value建模框架：相同的Key（源自共享主题）被迫代表不同的Value（对应于不同的知识），从而导致编辑期间的更新冲突。为了解决这个问题，我们提出了一种增强方法MEMIT-Merge，它合并了共享相同主题的事实的Value计算过程，有效地解决了同主题批量编辑场景中的性能下降问题。实验结果表明，当MEMIT的编辑成功率在较大的批次大小下下降到50%左右时，MEMIT-Merge保持了超过90%的成功率，展示了对主题实体冲突的显著鲁棒性。

🔬 方法详解

问题定义：论文旨在解决MEMIT在处理同主题批量知识编辑任务时，由于Key-Value冲突导致的编辑效果下降问题。现有方法MEMIT在处理多个共享相同主题的编辑请求时，会因为相同的Key需要对应不同的Value而产生冲突，从而降低编辑的准确性和成功率。

核心思路：MEMIT-Merge的核心思路是通过合并共享相同主题的事实的Value计算过程来避免Key-Value冲突。具体来说，对于具有相同主题的多个编辑请求，MEMIT-Merge不再独立计算每个请求的Value，而是将它们合并为一个整体进行计算，从而确保相同的Key对应于一致的Value。

技术框架：MEMIT-Merge沿用了MEMIT的整体框架，主要包括知识定位和知识更新两个阶段。知识定位阶段负责确定需要修改的模型参数，知识更新阶段则负责根据编辑请求修改这些参数。MEMIT-Merge的关键改进在于知识更新阶段，它引入了Value合并机制，用于处理同主题的批量编辑请求。

关键创新：MEMIT-Merge最重要的技术创新点是Value合并机制。该机制通过将共享相同主题的编辑请求的Value计算过程合并为一个整体，有效地避免了Key-Value冲突，从而提高了同主题批量编辑的准确性和成功率。与MEMIT相比，MEMIT-Merge能够更好地处理同主题的批量编辑任务，具有更强的鲁棒性。

关键设计：MEMIT-Merge的关键设计在于如何有效地合并Value计算过程。具体来说，对于具有相同主题的多个编辑请求，MEMIT-Merge首先计算它们的平均Value，然后使用该平均Value来更新模型参数。这种方法可以确保相同的Key对应于一致的Value，从而避免Key-Value冲突。此外，MEMIT-Merge还引入了一些额外的参数，用于控制Value合并的强度，以进一步提高编辑的准确性和成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在同主题批量编辑场景下，当MEMIT的编辑成功率下降到50%左右时，MEMIT-Merge仍能保持超过90%的成功率。这表明MEMIT-Merge对主题实体冲突具有显著的鲁棒性，能够有效提高同主题批量知识编辑的准确性和成功率。

🎯 应用场景

MEMIT-Merge可应用于需要批量修改LLM知识的场景，例如修复模型中的错误信息、更新模型的知识库、以及个性化定制模型行为。该研究成果有助于提高LLM的知识编辑效率和准确性，降低维护成本，并促进LLM在各个领域的广泛应用。

📄 摘要（原文）

As large language models continue to scale up, knowledge editing techniques that modify models' internal knowledge without full retraining have gained significant attention. MEMIT, a prominent batch editing algorithm, stands out for its capability to perform mass knowledge modifications. However, we uncover that MEMIT's editing efficacy significantly deteriorates when processing batches containing multiple edits sharing the same subject. Our analysis reveals this stems from MEMIT's key value modeling framework: identical keys (derived from the shared subject) are forced to represent different values (corresponding to different knowledge), resulting in update conflicts during editing. Addressing this issue, we propose MEMIT-Merge, an enhanced approach that merges value computation processes for facts sharing the same subject, effectively resolving the performance degradation in samesubject batch editing scenarios. Experimental results demonstrate that when MEMIT's edit success rate drops to around 50% at larger batch sizes, MEMIT-Merge maintains a success rate exceeding 90%, showcasing remarkable robustness to subject entity collisions. The code is available at https://github.com/NUSTM/ MEMIT-Merge.