MEMoE: Enhancing Model Editing with Mixture of Experts Adaptors

📄 arXiv: 2405.19086v2 📥 PDF

作者: Renzhi Wang, Piji Li

分类: cs.CL

发布日期: 2024-05-29 (更新: 2024-06-02)

💡 一句话要点

提出MEMoE，利用MoE适配器增强大语言模型的模型编辑能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型编辑 混合专家 大型语言模型 知识锚点路由 适配器

📋 核心要点

  1. 现有模型编辑方法在泛化性和局部性之间难以平衡，或者整体性能不佳，限制了其应用。
  2. MEMoE利用MoE结构和知识锚点路由策略，在更新知识的同时，保持原始LLM的通用能力。
  3. 实验结果表明，MEMoE在批量和顺序批量编辑任务中，实现了优异的整体性能和泛化/局部性平衡。

📝 摘要（中文）

模型编辑旨在高效地改变大型语言模型（LLM）在特定范围内的行为，同时确保不对其他输入产生不利影响。近年来，涌现出各种模型编辑方法。然而，这些方法要么整体性能较差，要么难以在泛化性和局部性之间取得平衡。我们提出了MEMoE，一种模型编辑适配器，它利用混合专家（MoE）架构和知识锚点路由策略。MEMoE使用旁路MoE结构更新知识，保持原始参数不变，以保留LLM的通用能力。此外，知识锚点路由确保需要相似知识的输入被路由到同一专家，从而增强更新知识的泛化性。实验结果表明，我们的方法在批量编辑和顺序批量编辑任务中均优于现有方法，在整体性能以及泛化性和局部性之间的平衡方面表现出色。我们的代码将会开源。

🔬 方法详解

问题定义：模型编辑旨在修改大型语言模型的行为，使其在特定范围内满足新的需求，同时避免影响模型在其他方面的表现。现有的模型编辑方法通常难以在泛化性（即对相似输入的正确修改）和局部性（即不影响无关输入的性能）之间取得平衡，或者整体性能较差，无法满足实际应用的需求。

核心思路：MEMoE的核心思路是利用混合专家（MoE）结构作为适配器，在不修改原始LLM参数的情况下，通过学习新的知识来修改模型的行为。MoE结构允许不同的专家处理不同的输入，从而提高模型的容量和灵活性。同时，引入知识锚点路由策略，将需要相似知识的输入路由到同一专家，从而增强更新知识的泛化性。

技术框架：MEMoE的整体架构包含一个预训练的LLM和一个旁路MoE适配器。LLM的参数保持固定，MoE适配器负责学习新的知识。当输入进入模型时，知识锚点路由模块会根据输入的内容选择合适的专家。选定的专家会对输入进行处理，并将结果与LLM的输出进行融合，得到最终的输出。

关键创新：MEMoE的关键创新在于知识锚点路由策略和旁路MoE结构。知识锚点路由策略能够有效地将相似的输入路由到同一专家，从而提高知识的泛化性。旁路MoE结构则保证了在更新知识的同时，不会影响原始LLM的通用能力。

关键设计：知识锚点路由模块使用一个可学习的嵌入向量作为知识锚点，通过计算输入与知识锚点之间的相似度来选择专家。MoE适配器包含多个专家网络，每个专家网络都是一个前馈神经网络。损失函数包括编辑损失（确保模型能够正确地修改行为）和正则化损失（防止过拟合）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MEMoE在批量编辑和顺序批量编辑任务中均优于现有的模型编辑方法。具体来说，MEMoE在泛化性和局部性方面都取得了显著的提升，并且在整体性能方面也表现出色。相较于其他方法，MEMoE能够更好地平衡泛化性和局部性，从而实现更有效的模型编辑。

🎯 应用场景

MEMoE可应用于各种需要对大型语言模型进行定制化修改的场景，例如修复模型中的错误知识、使其适应新的领域或任务、以及满足特定的用户需求。该方法具有广泛的应用前景，可以提高LLM在实际应用中的灵活性和适应性，并降低模型维护和更新的成本。

📄 摘要（原文）

Model editing aims to efficiently alter the behavior of Large Language Models (LLMs) within a desired scope, while ensuring no adverse impact on other inputs. Recent years have witnessed various model editing methods been proposed. However, these methods either exhibit poor overall performance or struggle to strike a balance between generalization and locality. We propose MEMoE, a model editing adapter utilizing a Mixture of Experts (MoE) architecture with a knowledge anchor routing strategy. MEMoE updates knowledge using a bypass MoE structure, keeping the original parameters unchanged to preserve the general ability of LLMs. And, the knowledge anchor routing ensures that inputs requiring similar knowledge are routed to the same expert, thereby enhancing the generalization of the updated knowledge. Experimental results show the superiority of our approach over both batch editing and sequential batch editing tasks, exhibiting exceptional overall performance alongside outstanding balance between generalization and locality. Our code will be available.