History Matters: Temporal Knowledge Editing in Large Language Model

📄 arXiv: 2312.05497v3 📥 PDF

作者: Xunjian Yin, Jin Jiang, Liming Yang, Xiaojun Wan

分类: cs.CL

发布日期: 2023-12-09 (更新: 2023-12-14)

备注: AAAI 2024. 9 pages, 3 figures

💡 一句话要点

提出METO框架，解决大语言模型中时序知识编辑的历史知识遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间知识编辑 大语言模型 知识更新 历史知识 模型编辑

📋 核心要点

  1. 现有模型编辑方法在更新知识时，会灾难性地遗忘历史知识，忽略了历史知识的重要性。
  2. 论文提出METO框架，通过同时编辑历史知识和新知识，并优化模型对事实发生时间的预测，来解决历史知识遗忘问题。
  3. 实验表明，METO在学习新知识的同时，显著提升了模型对历史知识的利用能力，但AToKe基准仍然具有挑战性。

📝 摘要（中文）

大型语言模型中知识的修正和更新源于两个方面：模型固有的错误需要纠正，以及现实世界变化导致知识过时需要更新。现有的模型编辑方法混淆了这两类编辑，直接将模型中的原始知识修改为新知识。然而，保留模型的原始知识仍然很重要。如果模型的知识因世界动态变化而过时，它应该保留对历史知识的记忆，同时整合新的知识。本文提出了时间知识编辑（TKE）任务，并建立了一个基准AToKe（时间知识编辑评估）来评估当前的模型编辑方法。研究发现，现有的模型编辑方法虽然能有效地使模型记住新的知识，但编辑后的模型会灾难性地忘记历史知识。为了解决这个问题，我们提出了一个简单而通用的框架，称为具有时间目标的多重编辑（METO），用于增强现有的编辑模型，该框架同时编辑历史知识和新知识，并优化模型对每个事实的时间的预测。评估表明，虽然AToKe仍然具有挑战性，但METO保持了学习新知识的有效性，同时大大提高了编辑后的模型在利用历史知识方面的性能。

🔬 方法详解

问题定义：现有的大语言模型知识编辑方法，在更新知识时，往往会直接覆盖或修改模型中原有的知识，导致模型遗忘历史知识。这种做法忽略了历史知识的价值，例如，模型应该知道“A是B的首都”这个历史事实，即使现在A的首都已经变成了C。现有方法的痛点在于无法同时兼顾新知识的学习和历史知识的保留。

核心思路：论文的核心思路是同时编辑模型的历史知识和新知识，并引入时间信息作为约束，让模型能够区分不同时间点的知识。通过优化模型对每个事实发生时间的预测，使得模型能够根据时间信息选择合适的知识。这样既能学习新的知识，又能保留历史知识，避免灾难性遗忘。

技术框架：METO框架的核心在于多重编辑和时间目标。整体流程如下：1. 收集或构建包含历史知识和新知识的数据集，并标注每个事实发生的时间。2. 使用现有的模型编辑方法（如Knowledge Editor）作为基础编辑模型。3. 在基础编辑模型的基础上，同时对历史知识和新知识进行编辑。4. 引入时间目标，即优化模型对每个事实发生时间的预测。

关键创新：METO的关键创新在于：1. 提出了时间知识编辑（TKE）任务，并构建了AToKe基准，用于评估模型编辑方法在保留历史知识方面的能力。2. 提出了具有时间目标的多重编辑（METO）框架，该框架能够同时编辑历史知识和新知识，并优化模型对事实发生时间的预测。3. METO框架具有通用性，可以应用于各种现有的模型编辑方法。

关键设计：METO的关键设计包括：1. 多重编辑：同时对历史知识和新知识进行编辑，确保模型能够同时学习和保留这两种知识。2. 时间目标：引入时间信息作为约束，优化模型对每个事实发生时间的预测。具体来说，可以使用交叉熵损失函数来优化模型对时间标签的预测。3. 可以选择不同的基础编辑模型，例如Knowledge Editor、MEMIT等。4. AToKe基准的构建，包含多个时间段的知识，用于评估模型在不同时间段的知识保留能力。

📊 实验亮点

实验结果表明，METO框架在AToKe基准上显著提升了模型对历史知识的利用能力，同时保持了学习新知识的有效性。具体来说，METO在历史知识保留方面相比现有方法提升了XX%，同时在新知识学习方面保持了相当的性能。虽然AToKe基准仍然具有挑战性，但METO为解决大语言模型中的时序知识编辑问题提供了一个有效的解决方案。

🎯 应用场景

该研究成果可应用于需要持续更新知识的大语言模型，例如智能助手、知识图谱问答系统等。通过保留历史知识，模型可以更好地理解用户的意图，提供更准确、更全面的信息。例如，在回答历史事件相关问题时，模型可以根据时间信息选择合适的知识，避免出现错误或过时的信息。

📄 摘要（原文）

The imperative task of revising or updating the knowledge stored within large language models arises from two distinct sources: intrinsic errors inherent in the model which should be corrected and outdated knowledge due to external shifts in the real world which should be updated. Prevailing efforts in model editing conflate these two distinct categories of edits arising from distinct reasons and directly modify the original knowledge in models into new knowledge. However, we argue that preserving the model's original knowledge remains pertinent. Specifically, if a model's knowledge becomes outdated due to evolving worldly dynamics, it should retain recollection of the historical knowledge while integrating the newfound knowledge. In this work, we introduce the task of Temporal Knowledge Editing (TKE) and establish a benchmark AToKe (Assessment of TempOral Knowledge Editing) to evaluate current model editing methods. We find that while existing model editing methods are effective at making models remember new knowledge, the edited model catastrophically forgets historical knowledge. To address this gap, we propose a simple and general framework termed Multi-Editing with Time Objective (METO) for enhancing existing editing models, which edits both historical and new knowledge concurrently and optimizes the model's prediction for the time of each fact. Our assessments demonstrate that while AToKe is still difficult, METO maintains the effectiveness of learning new knowledge and meanwhile substantially improves the performance of edited models on utilizing historical knowledge.