Model Editing for LLMs4Code: How Far are We?

📄 arXiv: 2411.06638v2 📥 PDF

作者: Xiaopeng Li, Shangwen Wang, Shasha Li, Jun Ma, Jie Yu, Xiaodong Liu, Jing Wang, Bin Ji, Weimin Zhang

分类: cs.SE, cs.CL

发布日期: 2024-11-11 (更新: 2024-12-03)

备注: Accepted by ICSE2025. The code is available at: https://github.com/xpq-tech/code-llmedit.git

💡 一句话要点

针对代码大语言模型的模型编辑研究：现状与挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大语言模型 模型编辑 知识修正 对比学习 代码生成 代码摘要 CLMEEval

📋 核心要点

  1. 代码大语言模型存在知识错误，但重新训练成本高昂，模型编辑技术应运而生，旨在高效修正这些错误。
  2. 论文系统研究了现有模型编辑技术在代码大语言模型上的应用效果，并提出了改进方法A-GRACE。
  3. 实验表明，GRACE方法在知识编辑的有效性和特异性方面表现最佳，但泛化能力是普遍挑战。

📝 摘要（中文）

代码大语言模型(LLMs4Code)在软件工程领域表现出色，尤其是在编码任务中。然而，即使是最先进的LLMs4Code也难免包含不正确或过时的代码知识。由于训练LLMs4Code的成本很高，重新训练模型来修复这些问题代码知识是不切实际的。模型编辑是一个新兴的技术领域，旨在有效且高效地纠正LLM中的错误知识，最近提出了各种模型编辑技术和基准。尽管如此，目前还缺乏一项全面的研究，彻底比较和分析最先进的模型编辑技术在各种代码相关任务中调整LLMs4Code知识的性能。为了弥补这一差距，我们首次系统地研究了应用最先进的模型编辑方法来修复LLMs4Code的不准确性。为此，我们引入了一个名为CLMEEval的基准，它由两个数据集组成，即包含21K+代码生成样本的CoNaLa-Edit (CNLE)和包含16K+代码摘要样本的CodeSearchNet-Edit (CSNE)。借助CLMEEval，我们评估了CodeLlama (7B)、CodeQwen1.5 (7B)和Stable-Code (3B)这三个LLMs4Code上的六种先进的模型编辑技术。我们的研究结果表明，基于外部记忆的GRACE方法实现了最佳的知识编辑有效性和特异性（编辑不会影响未针对的知识），而泛化（编辑是否可以推广到其他语义相同的输入）是现有技术面临的普遍挑战。此外，在深入的案例分析的基础上，我们引入了GRACE的增强版本，称为A-GRACE，它结合了对比学习，以更好地捕捉输入的语义。

🔬 方法详解

问题定义：论文旨在解决代码大语言模型（LLMs4Code）中存在的错误或过时代码知识的问题。现有方法，即重新训练整个模型，成本高昂且不切实际。模型编辑技术旨在高效地修正这些错误，但缺乏针对LLMs4Code的系统性评估和优化。

核心思路：论文的核心思路是利用模型编辑技术，在不重新训练整个模型的前提下，修正LLMs4Code中的错误知识。通过构建专门的评估基准CLMEEval，系统地评估现有模型编辑技术在代码相关任务上的性能，并针对现有方法的不足，提出改进方案A-GRACE。

技术框架：论文主要包含以下几个阶段：1) 构建评估基准CLMEEval，包含代码生成和代码摘要两个任务的数据集。2) 选择并实现六种先进的模型编辑技术。3) 在三个LLMs4Code模型（CodeLlama、CodeQwen1.5、Stable-Code）上进行实验，评估这些模型编辑技术的性能。4) 对实验结果进行深入分析，发现现有方法的不足。5) 提出改进方案A-GRACE，并进行实验验证。

关键创新：论文的关键创新点在于：1) 首次系统地研究了模型编辑技术在代码大语言模型上的应用。2) 构建了专门用于评估代码大语言模型编辑性能的基准CLMEEval。3) 提出了改进的GRACE方法A-GRACE，通过引入对比学习，更好地捕捉输入的语义，从而提高编辑的泛化能力。

关键设计：A-GRACE的关键设计在于引入了对比学习。具体来说，对于每个编辑样本，A-GRACE不仅学习如何修正错误知识，还学习区分正确和错误的输入。通过对比学习，A-GRACE可以更好地理解输入的语义，从而提高编辑的泛化能力。具体的损失函数设计未知，论文中可能未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于外部记忆的GRACE方法在知识编辑的有效性和特异性方面表现最佳。改进的A-GRACE方法通过引入对比学习，在一定程度上提高了编辑的泛化能力。然而，泛化能力仍然是现有模型编辑技术面临的普遍挑战。具体性能提升数据未知，论文中可能未详细描述。

🎯 应用场景

该研究成果可应用于快速修复和更新代码大语言模型中的错误知识，提高代码生成和代码理解的准确性。这对于软件开发、代码维护和自动化代码生成等领域具有重要价值，有助于提升开发效率和软件质量。未来，该技术可进一步扩展到其他编程语言和代码相关任务。

📄 摘要（原文）

Large Language Models for Code (LLMs4Code) have been found to exhibit outstanding performance in the software engineering domain, especially the remarkable performance in coding tasks. However, even the most advanced LLMs4Code can inevitably contain incorrect or outdated code knowledge. Due to the high cost of training LLMs4Code, it is impractical to re-train the models for fixing these problematic code knowledge. Model editing is a new technical field for effectively and efficiently correcting erroneous knowledge in LLMs, where various model editing techniques and benchmarks have been proposed recently. Despite that, a comprehensive study that thoroughly compares and analyzes the performance of the state-of-the-art model editing techniques for adapting the knowledge within LLMs4Code across various code-related tasks is notably absent. To bridge this gap, we perform the first systematic study on applying state-of-the-art model editing approaches to repair the inaccuracy of LLMs4Code. To that end, we introduce a benchmark named CLMEEval, which consists of two datasets, i.e., CoNaLa-Edit (CNLE) with 21K+ code generation samples and CodeSearchNet-Edit (CSNE) with 16K+ code summarization samples. With the help of CLMEEval, we evaluate six advanced model editing techniques on three LLMs4Code: CodeLlama (7B), CodeQwen1.5 (7B), and Stable-Code (3B). Our findings include that the external memorization-based GRACE approach achieves the best knowledge editing effectiveness and specificity (the editing does not influence untargeted knowledge), while generalization (whether the editing can generalize to other semantically-identical inputs) is a universal challenge for existing techniques. Furthermore, building on in-depth case analysis, we introduce an enhanced version of GRACE called A-GRACE, which incorporates contrastive learning to better capture the semantics of the inputs.