Model Merging for Knowledge Editing

📄 arXiv: 2506.12384v1 📥 PDF

作者: Zichuan Fu, Xian Wu, Guojing Li, Yingying Zhang, Yefeng Zheng, Tianshi Ming, Yejing Wang, Wanyu Wang, Xiangyu Zhao

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-06-14

备注: 11 pages, 3 figures

期刊: ACL 2025 (Industry) Oral

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于模型融合的知识编辑框架，提升LLM在序列编辑中的性能并保持通用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 模型融合 序列编辑 鲁棒微调 持续学习 灾难性遗忘

📋 核心要点

  1. 现有知识编辑方法在处理LLM的序列编辑任务时，容易遗忘先前编辑的知识，并且会损害模型的通用能力。
  2. 论文提出一种两阶段框架，首先通过鲁棒监督微调（R-SFT）使LLM充分学习新知识，然后通过模型融合保留新知识和通用能力。
  3. 实验结果表明，该方法在序列编辑任务中显著优于现有方法，同时更好地保持了模型的原始性能，且无需修改模型架构。

📝 摘要（中文）

大型语言模型（LLM）需要持续更新以保持准确和最新的知识，因为世界在不断发展。现有的知识编辑方法虽然为知识更新提供了各种解决方案，但它们通常在序列编辑场景中表现不佳，并且会损害模型的通用能力，从而严重阻碍了它们的实际应用。本文提出了一种结合鲁棒监督微调（R-SFT）与模型融合的两阶段框架，用于知识编辑。我们的方法首先微调LLM以充分内化新知识，然后将微调后的模型与原始基础模型融合，以保留新获得的知识和通用能力。实验结果表明，我们的方法在序列编辑中显著优于现有方法，同时更好地保持了模型的原始性能，而且不需要任何架构更改。

🔬 方法详解

问题定义：知识编辑旨在更新大型语言模型（LLM）中存储的知识，使其能够反映最新的信息。现有的知识编辑方法在处理连续的知识更新（序列编辑）时，容易出现“灾难性遗忘”问题，即模型忘记之前学习的知识。此外，这些方法还可能损害LLM的通用能力，降低其在其他任务上的表现。因此，如何高效、稳定地更新LLM的知识，同时保持其通用能力，是一个重要的研究问题。

核心思路：论文的核心思路是将知识编辑过程分解为两个阶段：知识内化和能力保持。首先，通过鲁棒的监督微调（R-SFT）使LLM充分学习并内化新的知识。然后，通过模型融合，将微调后的模型与原始基础模型进行融合，从而在保留新知识的同时，尽可能地恢复或保持原始模型的通用能力。这种两阶段的方法旨在解决序列编辑中的灾难性遗忘问题，并避免损害模型的通用能力。

技术框架：该框架包含两个主要阶段： 1. 鲁棒监督微调（R-SFT）：使用包含新知识的数据集对LLM进行微调，使其能够准确地回答与新知识相关的问题。R-SFT旨在使模型充分内化新知识，并提高其泛化能力。 2. 模型融合：将微调后的模型与原始基础模型进行融合。模型融合的目的是将新知识与原始模型的知识进行整合，从而在保留新知识的同时，尽可能地恢复或保持原始模型的通用能力。具体的融合方法未知，论文可能使用了加权平均或其他模型融合技术。

关键创新：该方法的主要创新在于将知识编辑分解为知识内化和能力保持两个阶段，并分别使用R-SFT和模型融合来解决这两个阶段的问题。与传统的知识编辑方法相比，该方法能够更好地平衡新知识的获取和通用能力的保持，从而在序列编辑任务中取得更好的性能。此外，该方法不需要修改LLM的架构，使其更易于部署和应用。

关键设计：论文中关于R-SFT和模型融合的具体技术细节未知。R-SFT可能涉及到特定的损失函数设计或数据增强策略，以提高微调的鲁棒性。模型融合可能涉及到权重的加权平均，或者更复杂的融合策略。这些细节需要在论文原文或代码中进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在序列编辑任务中显著优于现有方法，同时更好地保持了模型的原始性能。具体的性能数据和对比基线需要在论文原文中查找。该方法无需修改模型架构，易于部署和应用，具有很高的实际价值。

🎯 应用场景

该研究成果可应用于需要持续更新知识的大型语言模型，例如智能客服、知识问答系统、搜索引擎等。通过该方法，可以使这些模型能够及时学习最新的信息，并保持其通用能力，从而提供更准确、更可靠的服务。此外，该方法还可以用于构建更加智能和适应性强的AI系统。

📄 摘要（原文）

Large Language Models (LLMs) require continuous updates to maintain accurate and current knowledge as the world evolves. While existing knowledge editing approaches offer various solutions for knowledge updating, they often struggle with sequential editing scenarios and harm the general capabilities of the model, thereby significantly hampering their practical applicability. This paper proposes a two-stage framework combining robust supervised fine-tuning (R-SFT) with model merging for knowledge editing. Our method first fine-tunes the LLM to internalize new knowledge fully, then merges the fine-tuned model with the original foundation model to preserve newly acquired knowledge and general capabilities. Experimental results demonstrate that our approach significantly outperforms existing methods in sequential editing while better preserving the original performance of the model, all without requiring any architectural changes. Code is available at: https://github.com/Applied-Machine-Learning-Lab/MM4KE.