GeoEdit: Geometric Knowledge Editing for Large Language Models

📄 arXiv: 2502.19953v2 📥 PDF

作者: Yujie Feng, Liming Zhan, Zexin Lu, Yongxin Xu, Xu Chu, Yasha Wang, Jiannong Cao, Philip S. Yu, Xiao-Ming Wu

分类: cs.CL

发布日期: 2025-02-27 (更新: 2025-05-26)

💡 一句话要点

提出GeoEdit，利用几何知识编辑大型语言模型，提升知识更新效果并保持通用性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识编辑 几何学习 参数更新 模型泛化

📋 核心要点

  1. 现有基于训练的模型编辑方法难以在整合新知识的同时，保持LLM的通用知识。
  2. GeoEdit利用参数更新的几何关系，区分与新知识和通用知识相关的神经元，有选择地更新。
  3. 实验结果表明，GeoEdit在知识更新效果上优于现有方法，并能更好地保持模型的泛化能力。

📝 摘要（中文）

大型语言模型（LLM）需要定期更新以保持知识的时效性。为此，已经开发了多种模型编辑方法来更新LLM中的特定知识。然而，基于训练的方法通常难以有效地整合新知识，同时保留不相关的通用知识。为了解决这个挑战，我们提出了一种名为几何知识编辑（GeoEdit）的新框架。GeoEdit利用微调中参数更新的几何关系来区分与新知识更新相关的神经元和与通用知识扰动相关的神经元。通过采用方向感知的知识识别方法，我们避免更新与现有知识方向近似正交的神经元，从而保持模型的泛化能力。对于剩余的神经元，我们整合对齐方向的新旧知识，并对相反方向应用“先遗忘后学习”的编辑策略。此外，我们引入了一种重要性引导的任务向量融合技术，该技术过滤掉冗余信息并提供自适应的神经元级别权重，从而进一步提高模型编辑性能。在两个公开数据集上的大量实验表明，GeoEdit优于现有的最先进方法。

🔬 方法详解

问题定义：现有模型编辑方法在更新大型语言模型（LLM）的知识时，容易出现“灾难性遗忘”问题，即在学习新知识的同时，忘记或损害了模型原有的通用知识。这是因为简单的微调或知识注入方法难以区分哪些神经元与新知识相关，哪些与通用知识相关，导致不必要的参数更新。

核心思路：GeoEdit的核心思路是利用参数更新的几何关系来区分与新知识更新相关的神经元和与通用知识扰动相关的神经元。通过分析微调过程中参数更新的方向，判断哪些神经元对新知识的学习贡献较大，哪些神经元的更新可能导致通用知识的损失。然后，有选择地更新神经元，避免对通用知识造成负面影响。

技术框架：GeoEdit框架主要包含以下几个阶段：1) 方向感知知识识别：分析微调过程中参数更新的方向，识别与新知识相关的神经元。2) 知识融合与编辑：对于与现有知识方向对齐的神经元，融合新旧知识；对于方向相反的神经元，采用“先遗忘后学习”的策略。3) 重要性引导的任务向量融合：过滤冗余信息，并为神经元分配自适应的权重，进一步提升模型编辑性能。

关键创新：GeoEdit的关键创新在于利用参数更新的几何关系进行知识编辑。与传统的基于训练的方法不同，GeoEdit不是简单地更新所有参数，而是根据参数更新的方向，有选择地更新神经元。这种方法可以更有效地整合新知识，同时避免对通用知识造成损害。此外，重要性引导的任务向量融合技术也进一步提升了模型编辑的性能。

关键设计：GeoEdit的关键设计包括：1) 使用余弦相似度来衡量参数更新方向的对齐程度。2) 采用“先遗忘后学习”的策略来处理方向相反的神经元，即先将这些神经元的权重重置为零，然后再用新知识进行训练。3) 使用重要性评分来衡量每个神经元对特定任务的贡献，并根据重要性评分来分配神经元的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeoEdit在两个公开数据集上进行了广泛的实验，结果表明GeoEdit在知识更新效果上优于现有的最先进方法。具体来说，GeoEdit在保持模型泛化能力的同时，能够更准确地更新模型中的知识，并且在某些任务上取得了显著的性能提升。实验结果验证了GeoEdit的有效性和优越性。

🎯 应用场景

GeoEdit可应用于各种需要持续知识更新的大型语言模型，例如搜索引擎、智能助手、知识图谱等。通过GeoEdit，这些模型可以更有效地学习新知识，同时保持其原有的通用知识，从而提供更准确、更全面的服务。该研究对提升LLM的实用性和可靠性具有重要意义。

📄 摘要（原文）

Regular updates are essential for maintaining up-to-date knowledge in large language models (LLMs). Consequently, various model editing methods have been developed to update specific knowledge within LLMs. However, training-based approaches often struggle to effectively incorporate new knowledge while preserving unrelated general knowledge. To address this challenge, we propose a novel framework called Geometric Knowledge Editing (GeoEdit). GeoEdit utilizes the geometric relationships of parameter updates from fine-tuning to differentiate between neurons associated with new knowledge updates and those related to general knowledge perturbations. By employing a direction-aware knowledge identification method, we avoid updating neurons with directions approximately orthogonal to existing knowledge, thus preserving the model's generalization ability. For the remaining neurons, we integrate both old and new knowledge for aligned directions and apply a "forget-then-learn" editing strategy for opposite directions. Additionally, we introduce an importance-guided task vector fusion technique that filters out redundant information and provides adaptive neuron-level weighting, further enhancing model editing performance. Extensive experiments on two publicly available datasets demonstrate the superiority of GeoEdit over existing state-of-the-art methods.