MemEIC: A Step Toward Continual and Compositional Knowledge Editing

📄 arXiv: 2510.25798v1 📥 PDF

作者: Jin Seong, Jiyun Park, Wencke Liermann, Hongseok Choi, Yoonji Nam, Hyun Kim, Soojong Lim, Namhoon Lee

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-10-29

备注: NeurIPS 2025, 38 pages, 8 figures

💡 一句话要点

MemEIC：面向视觉-语言模型的持续组合式知识编辑方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 知识编辑 持续学习 组合式编辑 多模态学习

📋 核心要点

  1. 现有知识编辑方法主要关注单模态编辑，忽略了视觉-语言模型的多模态特性和知识更新的连续性需求。
  2. MemEIC提出一种混合外部-内部编辑器，利用双外部记忆和双LoRA适配器，实现跨模态知识的组合式编辑。
  3. 实验结果表明，MemEIC在复杂多模态问题上表现出色，并能有效保留先前的编辑，为持续组合式知识编辑设定了新基准。

📝 摘要（中文）

信息动态变化的特性要求不断更新大型视觉-语言模型（LVLMs）。虽然最近的知识编辑技术展示了有希望的方向，但它们通常侧重于孤立地编辑单一模态（视觉或语言）。这种普遍的做法忽略了LVLMs固有的多模态性和知识更新的连续性，当考虑模态之间的相互作用和持续知识改进的需求时，可能会导致次优的编辑结果。为了解决这些局限性，我们提出MemEIC，一种用于LVLMs中持续和组合式知识编辑（CCKE）的新方法。MemEIC能够按顺序组合编辑视觉和文本知识。我们的方法采用混合外部-内部编辑器，具有用于跨模态证据检索的双外部记忆和双LoRA适配器，从而促进每种模态的解耦参数更新。一个关键组件是受大脑启发的知识连接器，它被选择性地激活以进行组合推理，从而整合不同模态的信息。实验表明，MemEIC显著提高了复杂多模态问题的性能，并有效地保留了先前的编辑，为LVLMs中的CCKE设定了新的基准。

🔬 方法详解

问题定义：现有知识编辑方法通常孤立地处理视觉或语言模态，忽略了视觉-语言模型内在的多模态特性。此外，它们缺乏对知识更新的持续性考虑，难以适应信息动态变化的场景。这导致在处理需要跨模态推理的复杂问题时，编辑效果不佳，且容易遗忘之前的编辑结果。

核心思路：MemEIC的核心思路是构建一个能够同时处理视觉和文本模态，并支持持续学习的知识编辑框架。通过引入外部记忆模块来存储和检索知识，并利用LoRA适配器来解耦不同模态的参数更新，从而实现组合式的知识编辑。受大脑启发的知识连接器则负责在需要时整合不同模态的信息，进行跨模态推理。

技术框架：MemEIC的整体框架包含以下几个主要模块：1) 双外部记忆模块：分别存储视觉和文本知识，用于跨模态证据检索。2) 双LoRA适配器：分别用于视觉和文本模态的参数更新，实现解耦学习。3) 知识连接器：一个可选择性激活的模块，用于整合不同模态的信息，进行组合推理。编辑过程包括：首先，利用外部记忆检索相关知识；然后，通过LoRA适配器更新模型参数；最后，根据需要激活知识连接器进行跨模态推理。

关键创新：MemEIC的关键创新在于其混合外部-内部编辑器的设计，以及知识连接器的引入。传统的知识编辑方法要么只关注内部参数的调整，要么只依赖外部知识库。MemEIC将两者结合起来，既能利用模型自身的知识，又能借助外部知识进行补充。知识连接器则实现了跨模态信息的有效整合，使得模型能够进行更复杂的推理。

关键设计：MemEIC的关键设计包括：1) 双外部记忆的结构和检索策略，如何有效地存储和检索相关知识是关键。2) LoRA适配器的训练方式，如何保证在更新参数的同时，不影响模型的原有性能。3) 知识连接器的激活机制，如何判断何时需要进行跨模态推理，以及如何有效地整合不同模态的信息。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述，此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MemEIC在持续组合式知识编辑任务上显著优于现有方法。具体而言，MemEIC在复杂多模态问题上的性能提升了XX%（具体数值未知），并且能够有效地保留先前的编辑结果，避免了灾难性遗忘。这些结果表明，MemEIC为视觉-语言模型的知识编辑提供了一种有效且可靠的解决方案。

🎯 应用场景

MemEIC可应用于需要持续更新知识的视觉-语言模型，例如智能客服、自动驾驶、医疗诊断等领域。通过不断学习新的信息，模型可以更好地理解用户意图，做出更准确的决策。该研究有助于提升人工智能系统的可靠性和适应性，使其能够更好地服务于人类社会。

📄 摘要（原文）

The dynamic nature of information necessitates continuously updating large vision-language models (LVLMs). While recent knowledge editing techniques hint at promising directions, they often focus on editing a single modality (vision or language) in isolation. This prevalent practice neglects the inherent multimodality of LVLMs and the continuous nature of knowledge updates, potentially leading to suboptimal editing outcomes when considering the interplay between modalities and the need for ongoing knowledge refinement. To address these limitations, we propose MemEIC, a novel method for Continual and Compositional Knowledge Editing (CCKE) in LVLMs. MemEIC enables compositional editing of both visual and textual knowledge sequentially. Our approach employs a hybrid external-internal editor featuring a dual external memory for cross-modal evidence retrieval and dual LoRA adapters that facilitate disentangled parameter updates for each modality. A key component is a brain-inspired knowledge connector, activated selectively for compositional reasoning, that integrates information across different modalities. Experiments demonstrate that MemEIC significantly improves performance on complex multimodal questions and effectively preserves prior edits, setting a new benchmark for CCKE in LVLMs.