DAFNet: Dynamic Auxiliary Fusion for Sequential Model Editing in Large Language Models

📄 arXiv: 2405.20588v1 📥 PDF

作者: Taolin Zhang, Qizhou Chen, Dongyang Li, Chengyu Wang, Xiaofeng He, Longtao Huang, Hui Xue, Jun Huang

分类: cs.CL

发布日期: 2024-05-31

备注: ACL2024 findings

💡 一句话要点

提出DAFNet，用于解决大语言模型中持续出现的知识错误编辑问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模型编辑 序列模型编辑 知识融合 注意力机制

📋 核心要点

  1. 大语言模型存在幻觉问题，持续产生错误信息，需要持续的模型编辑。
  2. DAFNet通过动态辅助融合，增强序列中知识的语义交互，防止灾难性遗忘。
  3. 实验表明，DAFNet在单轮和序列编辑中优于基线，DAFSet提升了其他方法的性能。

📝 摘要（中文）

大语言模型(LLMs)虽然表现出令人印象深刻的结果，但仍然存在幻觉问题，即生成虚假信息。模型编辑的任务是修正LLMs中的事实错误；然而，大多数先前的工作将其视为一次性任务，很少关注LLMs不断产生的新错误。本文解决了序列模型编辑(SME)的任务，旨在持续纠正错误。设计了一个动态辅助融合网络(DAFNet)，以增强整个序列中事实知识之间的语义交互，防止多个知识三元组编辑过程中的灾难性遗忘。具体来说，(1)对于关系三元组内的语义融合，我们将编辑内的注意力流聚合到LLMs中具有token级别粒度的自回归自注意力中。我们进一步利用多层对角编辑间的注意力流来更新整个序列级别粒度的加权表示。(2)考虑到需要辅助参数来存储序列编辑的知识，我们构建了一个名为 extbf{DAFSet}的新数据集，满足最近、流行、长尾和鲁棒的属性，以增强序列编辑的通用性。实验表明，DAFNet在单轮和序列编辑中显著优于强大的基线。DAFSet的使用也始终提高了其他基于辅助网络的方法在各种场景中的性能。

🔬 方法详解

问题定义：论文旨在解决大语言模型中持续出现的知识错误编辑问题，即序列模型编辑(SME)。现有方法通常将模型编辑视为一次性任务，忽略了LLM不断产生新错误的特性，导致无法有效应对持续出现的错误，并且容易发生灾难性遗忘。

核心思路：论文的核心思路是设计一个动态辅助融合网络(DAFNet)，通过增强整个序列中事实知识之间的语义交互，防止在编辑多个知识三元组时发生灾难性遗忘。DAFNet利用注意力机制在token级别和序列级别融合知识，从而更好地保留和更新知识。

技术框架：DAFNet包含以下主要模块：1) Intra-editing Attention Fusion: 将关系三元组内的注意力流聚合到LLMs的自回归自注意力中，实现token级别的语义融合。2) Inter-editing Attention Fusion: 利用多层对角编辑间的注意力流来更新整个序列级别粒度的加权表示。3) Auxiliary Parameters: 使用辅助参数来存储序列编辑的知识。此外，论文还构建了一个新的数据集DAFSet，用于训练和评估序列模型编辑方法。

关键创新：DAFNet的关键创新在于动态辅助融合机制，它能够同时在token级别和序列级别融合知识，从而更好地保留和更新知识，防止灾难性遗忘。与现有方法相比，DAFNet能够更好地应对持续出现的错误，并且具有更强的鲁棒性。

关键设计：DAFNet的关键设计包括：1) 使用自回归自注意力进行token级别的语义融合。2) 使用多层对角编辑间的注意力流进行序列级别的知识更新。3) 构建DAFSet数据集，包含最近、流行、长尾和鲁棒的知识三元组，以增强序列编辑的通用性。具体参数设置和损失函数等细节在论文中进行了详细描述（此处省略具体数值，请参考原文）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAFNet在单轮和序列编辑任务中显著优于现有基线方法。具体而言，DAFNet在多个指标上取得了显著提升，例如在知识保留率、编辑成功率等方面均优于基线方法。此外，DAFSet数据集的使用也显著提升了其他基于辅助网络的方法的性能，验证了其有效性。

🎯 应用场景

该研究成果可应用于各种需要持续更新知识的大语言模型应用场景，例如智能客服、知识图谱问答、内容生成等。通过持续修正模型中的错误知识，可以提高LLM的准确性和可靠性，从而提升用户体验和应用价值。未来，该方法有望扩展到更复杂的知识编辑场景，并与其他技术相结合，实现更智能、更可靠的大语言模型。

📄 摘要（原文）

Recently, while large language models (LLMs) have demonstrated impressive results, they still suffer from hallucination, i.e., the generation of false information. Model editing is the task of fixing factual mistakes in LLMs; yet, most previous works treat it as a one-time task, paying little attention to ever-emerging mistakes generated by LLMs. We address the task of sequential model editing (SME) that aims to rectify mistakes continuously. A Dynamic Auxiliary Fusion Network (DAFNet) is designed to enhance the semantic interaction among the factual knowledge within the entire sequence, preventing catastrophic forgetting during the editing process of multiple knowledge triples. Specifically, (1) for semantic fusion within a relation triple, we aggregate the intra-editing attention flow into auto-regressive self-attention with token-level granularity in LLMs. We further leverage multi-layer diagonal inter-editing attention flow to update the weighted representations of the entire sequence-level granularity. (2) Considering that auxiliary parameters are required to store the knowledge for sequential editing, we construct a new dataset named \textbf{DAFSet}, fulfilling recent, popular, long-tail and robust properties to enhance the generality of sequential editing. Experiments show DAFNet significantly outperforms strong baselines in single-turn and sequential editing. The usage of DAFSet also consistently improves the performance of other auxiliary network-based methods in various scenarios