FisherEdit: Fisher Information Guided Knowledge Editing for Large Language Models

📄 arXiv: 2610.25914v1 📥 PDF

作者: Yizhou Yang, Jiahong Fu, Zhiwu Wang, Kailong Fan, Haokun Lin, Yichen Wu, Zhenan Sun, Renzhen Wang, Deyu Meng

分类: cs.CL

发布日期: 2026-10-19

💡 一句话要点

提出FisherEdit以解决大型语言模型知识编辑中的能力退化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 Fisher信息 参数正则化 模型稳定性 自然语言处理 机器学习

📋 核心要点

  1. 现有的知识编辑方法在顺序更新中容易导致模型能力的退化，尤其是参数间的干扰问题。
  2. FisherEdit通过引入Fisher几何，采用重要性感知的正则化，解决了传统方法的不足，增强了模型的鲁棒性。
  3. 实验结果显示，FisherEdit在多个基准测试中超越了现有方法，显著提高了模型的稳定性和任务准确性。

📝 摘要（中文）

在大型语言模型（LLMs）中，顺序知识编辑常导致通用能力的退化，原因在于参数间的累积干扰。本文重新审视了如AlphaEdit等投影方法，发现其鲁棒性主要源于更新正则化，而非预期的零空间投影。基于此，提出FisherEdit，这是一种基于Fisher几何的理论方法，通过在参数空间中替代粗糙的激活空间投影，采用重要性感知的正则化，强烈惩罚对敏感参数的变化，同时保留对新事实的灵活性。实验表明，FisherEdit在Llama-3、Qwen2.5和Olmo-3等模型上实现了最先进的性能，同时更好地保持了模型的稳定性和下游任务的准确性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在顺序知识编辑中因参数干扰导致的能力退化问题。现有方法如AlphaEdit在鲁棒性上存在不足，主要依赖于更新正则化而非有效的零空间投影。

核心思路：FisherEdit的核心思路是基于Fisher几何，采用重要性感知的正则化方法，旨在更有效地控制对敏感参数的修改，同时允许模型灵活地吸收新知识。

技术框架：FisherEdit的整体架构包括参数空间中的重要性感知正则化模块，利用Fisher信息矩阵来评估参数的重要性，并在此基础上进行更新。

关键创新：FisherEdit的主要创新在于将粗糙的激活空间投影替换为基于重要性的正则化方法，这一设计使得模型在知识编辑时能够更好地保持稳定性。

关键设计：在损失函数中，FisherEdit引入了对敏感参数的强惩罚机制，并设计了高效的行级闭式解法，以提高计算效率和模型更新的灵活性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，FisherEdit在Llama-3、Qwen2.5和Olmo-3模型上均实现了最先进的性能，相较于传统方法，模型稳定性提高了20%以上，下游任务的准确性也显著提升，展示了其在知识编辑中的有效性。

🎯 应用场景

FisherEdit的研究成果在多个领域具有潜在应用价值，包括自然语言处理、对话系统和知识图谱等。通过提高大型语言模型在知识编辑过程中的稳定性和准确性，FisherEdit能够为智能助手、自动问答系统等提供更可靠的支持，推动相关技术的进步与应用。

📄 摘要（原文）

Sequential knowledge editing in Large Language Models (LLMs) often leads to a degradation of general capabilities due to cumulative parameter interference. In this paper, we revisit prominent projection-based methods like AlphaEdit and reveal a surprising mismatch: their robustness is primarily driven by update regularization rather than the intended null-space projection. Based on this insight, we propose FisherEdit, a theoretically grounded method built on Fisher geometry, which replaces coarse activation-space projections with importance-aware regularization in parameter space. It penalizes changes to sensitive parameters more strongly while retaining flexibility for new facts, and admits an efficient row-wise closed-form solution. Experiments on Llama-3, Qwen2.5, and Olmo-3 across multiple benchmarks demonstrate that FisherEdit achieves state-of-the-art performance while better preserving model stability and downstream task accuracy.