Evaluating the Reversal Curse in Model Editing

📄 arXiv: 2310.10322v4 📥 PDF

作者: Hao-Xiang Xu, Jun-Yu Ma, Zhen-Hua Ling, Quan Liu, Cong Liu, Jia-Chen Gu

分类: cs.CL

发布日期: 2023-10-16 (更新: 2026-06-02)

备注: Accepted by TMLR

💡 一句话要点

提出双向语言模型编辑以解决反转诅咒问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型编辑 反转诅咒 双向评估 知识回忆 上下文学习 评估基准 人工智能

📋 核心要点

  1. 现有的单向编辑方法未能有效解决反转诅咒问题，导致编辑后的模型在反向回忆知识时表现不佳。
  2. 本文提出双向语言模型编辑框架，并引入反向泛化度量和BAKE基准，以评估模型在反向方向的知识回忆能力。
  3. 实验结果显示，大多数编辑方法在修改方向上表现良好，但在反向评估中存在系统性缺陷，ICL在一定程度上缓解了这一问题。

📝 摘要（中文）

大型语言模型（LLMs）由于错误或过时的知识，容易产生意外的文本幻觉。由于重新训练LLMs资源消耗巨大，模型编辑逐渐受到关注。现有的单向编辑和评估方法未能探讨反转诅咒。本文研究双向语言模型编辑，提出反向泛化度量，并构建了双向知识编辑评估基准（BAKE），以评估后编辑模型是否能在编辑的反向方向上回忆编辑知识。实验结果表明，尽管大多数编辑方法能够准确回忆修改方向的编辑事实，但在反向评估时存在显著的系统性缺陷。进一步分析显示，尽管上下文学习（ICL）在一定程度上可以缓解反转诅咒，但其连续性不足，受限于输入长度，且可能引入幻觉。因此，结合ICL与其他编辑方法的优势是开发新编辑范式的有前景方向。

🔬 方法详解

问题定义：本文旨在解决现有单向模型编辑方法在反向知识回忆中的不足，特别是反转诅咒现象的影响。现有方法未能有效评估编辑后的模型在反向方向的知识回忆能力。

核心思路：论文提出双向语言模型编辑的框架，设计了反向泛化度量，并构建了BAKE基准，以系统评估模型在编辑反向的知识回忆能力。通过双向评估，能够更全面地理解模型编辑的效果。

技术框架：整体架构包括三个主要模块：1) 编辑方法模块，使用多种编辑策略；2) 反向评估模块，基于BAKE基准进行模型性能评估；3) 分析模块，从多个角度探讨反转诅咒的成因及缓解策略。

关键创新：最重要的创新在于引入了反向泛化度量和BAKE基准，填补了现有单向评估方法的空白，使得双向编辑的效果得以全面评估。

关键设计：在实验中，采用了多种编辑方法，并对模型的输入长度和上下文学习进行了细致的参数设置，确保评估的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大多数编辑方法在修改方向上能够准确回忆编辑事实，但在反向评估时表现出显著的系统性缺陷。具体而言，ICL在缓解反转诅咒方面有所帮助，但仍存在输入长度限制和幻觉问题。通过结合ICL与其他编辑方法，未来的研究有望实现更好的编辑效果。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的知识更新、智能问答系统和对话生成等。通过改进模型编辑技术，可以提高模型的准确性和可靠性，减少幻觉现象，进而提升用户体验和应用效果。未来，该研究可能推动更高效的模型编辑方法的发展，促进人工智能在实际场景中的应用。

📄 摘要（原文）

Large language models (LLMs) are prone to hallucinate unintended text due to false or outdated knowledge. Since retraining LLMs is resource intensive, there has been a growing interest in model editing. Despite the emergence of benchmarks and approaches, existing unidirectional editing and evaluation paradigms have failed to explore the reversal curse. In this paper, we study bidirectional language model editing, aiming to provide a rigorous evaluation to assess if edited LLMs can recall the editing knowledge bidirectionally. A metric of reverse generalization is introduced and a benchmark dubbed Bidirectional Assessment for Knowledge Editing (BAKE) is constructed to evaluate if post-edited models can recall the edited knowledge in the reverse direction of editing. We conduct extensive experiments using a variety of editing methods and LLMs. The results show that while most editing methods are able to accurately recall editing facts along the modification direction, they exhibit substantial systematic deficiencies when evaluating in the reverse direction. To further investigate the underlying causes of reversal curse and to explore potential strategies for mitigation, a detailed analysis is conducted from three perspectives. Our findings reveal that although In-Context Learning (ICL) can mitigate the reversal curse to a certain extent, it lacks continuity, is limited by the input length, and may introduce hallucinations. Therefore, combining the advantages of ICL and other editing methods is a promising direction for developing new editing paradigms.