Balancing Knowledge Updates: Toward Unified Modular Editing in LLMs

📄 arXiv: 2510.27400v1 📥 PDF

作者: Jiahao Liu, Zijian Wang, Kuo Zhao, Dong Hu

分类: cs.CL, cs.AI

发布日期: 2025-10-31

💡 一句话要点

提出IntAttn-Edit，通过平衡MLP和Attention模块更新，提升LLM知识编辑效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 注意力机制 多层感知机 知识更新 联想记忆 知识定位

📋 核心要点

  1. 现有知识编辑方法侧重于更新MLP模块，忽略了Attention模块在知识存储中的作用，导致编辑效果受限。
  2. IntAttn-Edit通过联合更新MLP和Attention模块，并采用知识平衡策略分配更新幅度，解决了上述问题。
  3. 实验表明，IntAttn-Edit在编辑成功率、泛化能力和知识保留方面均优于现有方法，并验证了平衡策略的有效性。

📝 摘要（中文）

知识编辑是一种高效更新大型语言模型(LLM)中事实知识的方法。它通常定位知识存储模块并修改其参数。然而，现有方法大多集中于多层感知机(MLP)模块的权重，这些模块通常被认为是事实信息的主要存储库。其他组件，如注意力(Attn)模块，在编辑过程中经常被忽略。这种不平衡可能留下残留的过时知识，并限制编辑效果。我们对先进的LLM进行了全面的知识定位实验，发现Attn模块在事实知识存储和检索中发挥着重要作用，尤其是在早期层。基于这些见解，我们提出IntAttn-Edit，一种将联想记忆范式扩展到联合更新MLP和Attn模块的方法。我们的方法使用知识平衡策略，根据每个模块对知识存储的贡献程度来分配更新幅度。在标准基准上的实验表明，IntAttn-Edit比以前的方法实现了更高的编辑成功率、更好的泛化能力和更强的知识保留能力。进一步的分析表明，平衡策略使编辑性能在各种设置中保持在最佳范围内。

🔬 方法详解

问题定义：现有知识编辑方法主要集中于更新LLM中的MLP模块，而忽略了Attention模块在知识存储和检索中的作用。这种不平衡的更新方式会导致残留的过时知识，从而限制了知识编辑的整体效果。因此，需要一种能够同时有效更新MLP和Attention模块的方法。

核心思路：论文的核心思路是，通过联合更新MLP和Attention模块，并根据它们对知识存储的贡献程度来平衡更新幅度，从而更有效地更新LLM中的事实知识。这种平衡策略旨在确保所有关键模块都得到适当的更新，从而减少残留的过时知识。

技术框架：IntAttn-Edit方法扩展了联想记忆范式，使其能够同时更新MLP和Attention模块。该方法首先通过知识定位实验确定每个模块对知识存储的贡献程度。然后，根据这些贡献程度，使用知识平衡策略来分配更新幅度。最后，使用更新后的参数来执行知识编辑任务。

关键创新：该方法最重要的创新点在于，它首次提出了联合更新LLM中的MLP和Attention模块，并采用知识平衡策略来分配更新幅度。与现有方法相比，IntAttn-Edit能够更全面地更新LLM中的知识，从而提高编辑成功率、泛化能力和知识保留能力。

关键设计：知识平衡策略是该方法的关键设计。具体来说，该策略根据每个模块对知识存储的贡献程度来分配更新幅度。贡献程度可以通过知识定位实验来测量，例如，通过计算每个模块在知识检索过程中的激活程度。更新幅度的分配可以采用多种方式，例如，可以根据贡献程度的比例来分配更新幅度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IntAttn-Edit在标准基准上实现了更高的编辑成功率、更好的泛化能力和更强的知识保留能力。例如，在某些基准测试中，IntAttn-Edit的编辑成功率比现有方法提高了10%以上。此外，进一步的分析表明，平衡策略使编辑性能在各种设置中保持在最佳范围内。

🎯 应用场景

该研究成果可应用于各种需要快速更新LLM知识的场景，例如，修正LLM中的错误信息、使其适应新的事实知识、或使其能够处理特定领域的知识。这对于提高LLM的可靠性、实用性和适应性具有重要意义，尤其是在信息快速变化的领域。

📄 摘要（原文）

Knowledge editing has emerged as an efficient approach for updating factual knowledge in large language models (LLMs). It typically locates knowledge storage modules and then modifies their parameters. However, most existing methods focus on the weights of multilayer perceptron (MLP) modules, which are often identified as the main repositories of factual information. Other components, such as attention (Attn) modules, are often ignored during editing. This imbalance can leave residual outdated knowledge and limit editing effectiveness. We perform comprehensive knowledge localization experiments on advanced LLMs and find that Attn modules play a substantial role in factual knowledge storage and retrieval, especially in earlier layers. Based on these insights, we propose IntAttn-Edit, a method that extends the associative memory paradigm to jointly update both MLP and Attn modules. Our approach uses a knowledge balancing strategy that allocates update magnitudes in proportion to each module's measured contribution to knowledge storage. Experiments on standard benchmarks show that IntAttn-Edit achieves higher edit success, better generalization, and stronger knowledge preservation than prior methods. Further analysis shows that the balancing strategy keeps editing performance within an optimal range across diverse settings.