Edit Less, Achieve More: Dynamic Sparse Neuron Masking for Lifelong Knowledge Editing in LLMs

📄 arXiv: 2510.22139v1 📥 PDF

作者: Jinzhe Liu, Junshu Sun, Shufan Shen, Chenxue Yang, Shuhui Wang

分类: cs.LG, cs.CL

发布日期: 2025-10-25

备注: 19 pages, 11 figures, Accepted by NeurIPS 2025

💡 一句话要点

提出神经元特定掩码知识编辑（NMKE），解决LLM终身知识编辑中的精度下降问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 终身学习 知识编辑 大型语言模型 神经元归因 稀疏掩码

📋 核心要点

  1. 现有终身知识编辑方法在持续更新LLM知识时，会累积误差，导致编辑精度和泛化能力下降。
  2. NMKE框架结合神经元归因和动态稀疏掩码，精确定位并编辑与目标知识相关的神经元。
  3. 实验表明，NMKE在大量连续编辑后，仍能保持较高的编辑成功率和模型通用能力，优于现有方法。

📝 摘要（中文）

终身知识编辑旨在持续、精确地更新大型语言模型（LLM）中过时的知识，而无需耗费大量计算资源进行完全重新训练。然而，现有方法通常在编辑过程中累积误差，导致编辑准确性和泛化能力逐渐下降。为了解决这个问题，我们提出了一种新的细粒度编辑框架，即神经元特定掩码知识编辑（NMKE），它结合了神经元级别的归因和动态稀疏掩码。利用神经元功能归因，我们识别出两种关键类型的知识神经元：知识通用神经元和知识特定神经元。NMKE进一步引入了熵引导的动态稀疏掩码，定位与目标知识相关的神经元。这种策略能够以更少的参数修改实现精确的神经元级别知识编辑。数千次连续编辑的实验结果表明，NMKE在保持高编辑成功率和保持模型在终身编辑中的通用能力方面优于现有方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在终身知识编辑过程中，由于持续更新知识而导致的编辑精度和泛化能力逐渐下降的问题。现有方法在编辑过程中容易累积误差，导致模型性能退化。

核心思路：论文的核心思路是利用神经元级别的归因和动态稀疏掩码，实现对LLM知识的精确编辑。通过识别知识通用神经元和知识特定神经元，并使用熵引导的动态稀疏掩码定位相关神经元，从而减少参数修改，提高编辑精度。

技术框架：NMKE框架主要包含两个关键模块：神经元功能归因模块和熵引导的动态稀疏掩码模块。神经元功能归因模块用于识别知识通用神经元和知识特定神经元。熵引导的动态稀疏掩码模块则用于定位与目标知识相关的神经元，并生成稀疏掩码，限制参数更新范围。

关键创新：NMKE的关键创新在于结合了神经元级别的归因和动态稀疏掩码，实现了细粒度的知识编辑。与现有方法相比，NMKE能够更精确地定位需要编辑的神经元，减少不必要的参数修改，从而降低误差累积，提高编辑精度和泛化能力。

关键设计：论文使用神经元激活模式的熵来引导动态稀疏掩码的生成。具体来说，对于每个神经元，计算其在不同prompt下的激活熵，熵值越低，表示该神经元对特定知识越重要。然后，根据熵值选择需要编辑的神经元，并生成稀疏掩码，限制参数更新范围。损失函数的设计目标是最小化编辑后的模型与目标知识之间的差异，同时保持模型的通用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NMKE在数千次连续编辑后，仍能保持较高的编辑成功率，显著优于现有方法。具体来说，NMKE在编辑成功率方面比现有最佳方法提升了约10%-20%，同时在保持模型通用能力方面也表现出更强的优势。这些结果验证了NMKE在终身知识编辑中的有效性和优越性。

🎯 应用场景

该研究成果可应用于需要持续更新知识的LLM应用场景，例如智能客服、知识图谱问答、机器翻译等。通过NMKE框架，可以更高效、更精确地更新LLM的知识库，提高模型的准确性和可靠性，并降低维护成本。未来，该方法有望扩展到其他类型的神经网络和知识编辑任务中。

📄 摘要（原文）

Lifelong knowledge editing enables continuous, precise updates to outdated knowledge in large language models (LLMs) without computationally expensive full retraining. However, existing methods often accumulate errors throughout the editing process, causing a gradual decline in both editing accuracy and generalization. To tackle this problem, we propose Neuron-Specific Masked Knowledge Editing (NMKE), a novel fine-grained editing framework that combines neuron-level attribution with dynamic sparse masking. Leveraging neuron functional attribution, we identify two key types of knowledge neurons, with knowledge-general neurons activating consistently across prompts and knowledge-specific neurons activating to specific prompts. NMKE further introduces an entropy-guided dynamic sparse mask, locating relevant neurons to the target knowledge. This strategy enables precise neuron-level knowledge editing with fewer parameter modifications. Experimental results from thousands of sequential edits demonstrate that NMKE outperforms existing methods in maintaining high editing success rates and preserving model general capabilities in lifelong editing.