More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing
作者: Xin Ma, Wei Chen, Qi Liu, Derong Xu, Zhi Zheng, Tong Xu, Enhong Chen
分类: cs.LG, cs.CL
发布日期: 2026-05-12
🔗 代码/项目: GITHUB
💡 一句话要点
提出StableEdit，通过强化稳定循环解决序列模型编辑中的灾难性遗忘问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 终身学习 模型编辑 灾难性遗忘 大型语言模型 归一化
📋 核心要点
- 大型语言模型的终身编辑面临灾难性遗忘和模型崩溃的挑战，现有方法难以在持续更新知识的同时保持模型稳定。
- 论文提出终身归一化（LN）是关键，并基于此设计StableEdit，通过强化稳定循环来缓解遗忘，提升长期编辑的稳定性。
- 实验验证了LN的理论分析，并表明StableEdit在长期编辑任务中表现出竞争力的性能，验证了其有效性。
📝 摘要（中文）
终身模型编辑旨在持续更新大型语言模型中不断演变的事实，同时保留不相关的知识和通用能力，但它仍然受到灾难性遗忘和模型崩溃的困扰。实证研究表明，最近在长时间范围内具有弹性的编辑器共享相同的核心策略：终身归一化（LN），它使用运行统计量来归一化值梯度。移除LN会导致立即的性能崩溃，并且我们观察到一种违反直觉的积极累积效应，即早期的编辑可以促进未来编辑的成功。然而，LN的机制仍然是一个“黑盒子”，使其在终身稳定性中的精确作用知之甚少。在这项工作中，我们首次对终身状态下的LN进行了理论解释。我们的分析揭示了一个自我强化的稳定循环，并证明，当与岭正则化回归相结合时，LN会产生具有渐近正交性和有界范数的参数更新，从而直接减轻遗忘和系统性崩溃。基于这些见解，我们推导出了StableEdit，它通过显式的预热阶段和完全白化来加强这种稳定循环，从而以最小的开销提高长期稳定性。大量的实验验证了我们的理论并证明了其具有竞争力的性能。我们的代码可在https://github.com/MINE-USTC/StableEdit获得。
🔬 方法详解
问题定义：终身模型编辑旨在持续更新大型语言模型中的知识，但现有方法容易发生灾难性遗忘，即在更新新知识时忘记旧知识，甚至导致模型崩溃。现有方法缺乏对长期稳定性的有效保证，无法在持续编辑过程中保持模型的性能和泛化能力。
核心思路：论文的核心思路是揭示终身归一化（LN）在长期稳定性中的作用，并基于此设计更稳定的编辑方法。LN通过使用运行统计量归一化值梯度，可以产生具有渐近正交性和有界范数的参数更新，从而减轻遗忘和系统性崩溃。论文进一步提出通过显式的预热阶段和完全白化来加强这种稳定循环。
技术框架：StableEdit的技术框架主要包含以下几个阶段：1）预热阶段：通过一定量的训练数据对模型进行预热，使其达到一个较好的初始状态。2）终身归一化：在编辑过程中，使用终身归一化（LN）来归一化值梯度，保证参数更新的稳定性和正交性。3）完全白化：通过完全白化来进一步加强稳定循环，提高模型的长期稳定性。4）岭正则化回归：结合岭正则化回归来约束参数的范数，防止模型崩溃。
关键创新：论文最重要的技术创新点在于对终身归一化（LN）的理论分析，揭示了其在长期稳定性中的作用。此外，论文还提出了StableEdit，通过显式的预热阶段和完全白化来加强稳定循环，从而提高模型的长期稳定性。与现有方法相比，StableEdit在理论上具有更好的稳定性和收敛性保证。
关键设计：StableEdit的关键设计包括：1）预热阶段的训练数据选择和训练策略；2）终身归一化（LN）的具体实现方式，包括运行统计量的更新策略；3）完全白化的具体实现方式，例如使用PCA进行白化；4）岭正则化回归的正则化系数的选择。
🖼️ 关键图片
📊 实验亮点
实验结果表明，StableEdit在长期编辑任务中表现出竞争力的性能，显著优于现有的编辑方法。具体来说，StableEdit在保持模型稳定性的同时，能够有效地更新知识，并且在多个数据集上取得了最佳的性能。实验验证了LN的理论分析，并证明了StableEdit的有效性。
🎯 应用场景
该研究成果可应用于需要持续更新知识的大型语言模型，例如智能客服、知识图谱问答、新闻摘要等领域。通过提高模型的长期稳定性和知识保留能力，可以提升用户体验和应用效果，并降低模型维护成本。未来，该研究可以扩展到其他类型的序列模型和知识更新场景。
📄 摘要（原文）
Lifelong Model Editing aims to continuously update evolving facts in Large Language Models while preserving unrelated knowledge and general capabilities, yet it remains plagued by catastrophic forgetting and model collapse. Empirically, we find that recent editors resilient over long horizons share the same core strategy: Lifelong Normalization (LN), which normalizes value gradients using running statistics. Removing LN causes immediate performance collapse, and we observe a counter-intuitive positive cumulative effect where early edits can promote the success of future edits. Yet the mechanism of LN remains a "black box", leaving its precise role in lifelong stability poorly understood. In this work, we provide the first theoretical account of LN in the lifelong regime. Our analysis reveals a self-reinforcing stability loop and proves that, when combined with ridge-regularized regression, LN yields parameter updates with asymptotic orthogonality and bounded norms, directly mitigating forgetting and systemic collapse. Based on these insights, we derive StableEdit, which strengthens this stability loop via an explicit warm-up stage and full whitening, improving long-horizon stability at minimal overhead. Extensive experiments validate our theory and demonstrate competitive performance. Our code is available at https://github.com/MINE-USTC/StableEdit.