Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts

📄 arXiv: 2405.11613v2 📥 PDF

作者: Baolong Bi, Shenghua Liu, Lingrui Mei, Yiwei Wang, Pengliang Ji, Xueqi Cheng

分类: cs.CL

发布日期: 2024-05-19 (更新: 2024-05-21)

💡 一句话要点

提出DeCK方法，通过对比知识解码增强LLM对编辑事实的置信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 上下文学习 对比学习 可解释性

📋 核心要点

  1. 现有知识编辑方法受限于LLM的黑盒特性，缺乏可解释性，难以有效编辑顽固知识。
  2. DeCK通过对比新编辑知识和原始参数知识的logits分布，增强模型对编辑后知识的置信度。
  3. 实验表明，DeCK显著提升了LLM在知识编辑任务上的性能，例如在MQuAKE数据集上提升高达219%。

📝 摘要（中文）

大型语言模型(LLMs)中的知识可能迅速过时。虽然上下文编辑(ICE)是目前最有效的知识编辑(KE)方法，但它受到LLMs黑盒建模的限制，缺乏可解释性。本文旨在通过分析上下文新知识对token分布的影响，阐明ICE在KE上的优越性能。研究发现，尽管新知识的logits显著提升，但性能仍然受到顽固知识的阻碍。顽固知识指的是在预训练期间获得过度自信的事实，难以有效编辑。为了解决这个问题并进一步提高ICE的性能，本文提出了一种名为$ extbf{De}$coding by $ extbf{C}$ontrasting $ extbf{K}$nowledge (DeCK)的新方法。DeCK通过对比由ICE引导的新编辑知识获得的logits与未编辑的参数知识获得的logits，来推导下一个token的分布。实验结果一致表明，DeCK增强了LLMs对编辑事实的置信度。例如，它将LLaMA3-8B-instruct在MQuAKE上的性能提高了高达219%，证明了其在加强顽固知识编辑方面的能力。这项工作为开发有效且可解释的LLMs知识编辑方法铺平了道路。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）中知识过时的问题，并提升知识编辑的有效性和可解释性。现有的上下文编辑（ICE）方法虽然有效，但由于LLMs的黑盒特性，其内部机制难以理解，并且在编辑预训练期间获得过度自信的“顽固知识”时效果不佳。

核心思路：DeCK的核心思路是通过对比新编辑的知识和原始参数知识的logits分布，来引导LLM生成更符合编辑后知识的token。这种对比学习的方式可以有效抑制顽固知识的影响，增强模型对新知识的置信度。

技术框架：DeCK方法主要包含以下几个步骤：1) 使用ICE方法对LLM进行知识编辑，得到编辑后的logits分布。2) 获取原始LLM（未编辑）的logits分布。3) 通过对比这两个logits分布，计算出一个新的logits分布，该分布更倾向于编辑后的知识。4) 使用这个新的logits分布进行token生成。

关键创新：DeCK的关键创新在于其对比学习的解码方式。与直接使用编辑后的logits分布进行解码不同，DeCK通过对比新旧知识的logits分布，显式地引导模型关注编辑后的知识，从而更有效地抑制顽固知识的影响。

关键设计：DeCK的关键设计在于如何有效地对比新旧知识的logits分布。具体来说，论文可能采用了一种加权平均或者其他更复杂的融合方式，来结合两个logits分布的信息。具体的权重参数或者融合策略需要在论文的详细描述中查找。此外，损失函数的设计也至关重要，需要确保模型能够有效地学习到新旧知识之间的差异，并生成符合编辑后知识的token。

📊 实验亮点

DeCK在MQuAKE数据集上对LLaMA3-8B-instruct模型进行了评估，结果显示DeCK能够显著提升模型的知识编辑性能，最高提升幅度达到219%。这表明DeCK能够有效增强LLM对编辑事实的置信度，尤其是在处理顽固知识时效果显著。实验结果充分验证了DeCK方法的有效性和优越性。

🎯 应用场景

DeCK方法可应用于各种需要知识编辑的场景，例如问答系统、对话系统和信息检索系统。通过增强LLM对编辑后知识的置信度，DeCK可以提高这些系统在处理过时或错误信息时的准确性和可靠性。此外，该方法还有助于提高LLM的可解释性，为开发更值得信赖的AI系统奠定基础。

📄 摘要（原文）

The knowledge within large language models (LLMs) may become outdated quickly. While in-context editing (ICE) is currently the most effective method for knowledge editing (KE), it is constrained by the black-box modeling of LLMs and thus lacks interpretability. Our work aims to elucidate the superior performance of ICE on the KE by analyzing the impacts of in-context new knowledge on token-wise distributions. We observe that despite a significant boost in logits of the new knowledge, the performance of is still hindered by stubborn knowledge. Stubborn knowledge refers to as facts that have gained excessive confidence during pretraining, making it hard to edit effectively. To address this issue and further enhance the performance of ICE, we propose a novel approach termed $\textbf{De}$coding by $\textbf{C}$ontrasting $\textbf{K}$nowledge (DeCK). DeCK derives the distribution of the next token by contrasting the logits obtained from the newly edited knowledge guided by ICE with those from the unedited parametric knowledge. Our experiments consistently demonstrate that DeCK enhances the confidence of LLMs in edited facts. For instance, it improves the performance of LLaMA3-8B-instruct on MQuAKE by up to 219%, demonstrating its capability to strengthen ICE in the editing of stubborn knowledge. Our work paves the way to develop the both effective and accountable KE methods for LLMs. (The source code is available at: https://deck-llm.meirtz.com)