Lifelong Knowledge Editing for Vision Language Models with Low-Rank Mixture-of-Experts

📄 arXiv: 2411.15432v2 📥 PDF

作者: Qizhou Chen, Chengyu Wang, Dakan Wang, Taolin Zhang, Wangyue Li, Xiaofeng He

分类: cs.CL, cs.CV

发布日期: 2024-11-23 (更新: 2025-03-14)

备注: CVPR 2025 Accepted

💡 一句话要点

提出LiveEdit，解决视觉语言模型终身知识编辑难题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 知识编辑 终身学习 低秩分解 混合专家

📋 核心要点

  1. 现有知识编辑方法难以直接应用于视觉语言模型（VLLM），尤其是在需要持续更新知识的终身学习场景下。
  2. LiveEdit通过训练专家生成器，为每个编辑实例生成低秩专家，并结合视觉和文本语义信息进行专家筛选和融合。
  3. 实验表明，LiveEdit在终身VLLM编辑任务上表现出显著优势，验证了其各个模块设计的合理性和有效性。

📝 摘要（中文）

模型编辑旨在修正不准确的知识、更新过时的信息并将新数据整合到大型语言模型（LLM）中，而无需重新训练。这项任务在终身场景中提出了挑战，因为编辑必须持续应用于实际应用。虽然一些编辑器在纯LLM的终身编辑中表现出强大的鲁棒性，但包含额外视觉模态的视觉LLM（VLLM）无法直接适应现有的LLM编辑器。在本文中，我们提出了LiveEdit，一种终身视觉语言模型编辑方法，旨在弥合终身LLM编辑和VLLM之间的差距。我们首先训练一个编辑专家生成器，为每个编辑实例独立生成低秩专家，目标是纠正VLLM的相关响应。我们开发了一种硬过滤机制来利用视觉语义知识，从而在后编辑模型的推理阶段粗略地消除与输入查询在视觉上不相关的专家。最后，为了整合视觉上相关的专家，我们引入了一种基于文本语义相关性的软路由机制，以实现多专家融合。为了评估，我们建立了一个用于终身VLLM编辑的基准。大量的实验表明，LiveEdit在终身VLLM编辑场景中提供了显著的优势。进一步的实验验证了LiveEdit中每个模块设计的合理性和有效性。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型（VLLM）在终身学习场景下的知识编辑问题。现有的知识编辑方法主要针对纯语言模型设计，无法直接应用于VLLM，因为VLLM需要同时处理视觉和文本信息。此外，在终身学习场景下，需要不断地对模型进行编辑，以适应新的知识和信息，这给VLLM的知识编辑带来了更大的挑战。

核心思路：论文的核心思路是利用低秩混合专家（Low-Rank Mixture-of-Experts）模型来对VLLM进行知识编辑。具体来说，论文训练一个专家生成器，为每个编辑实例生成一个低秩专家，该专家负责纠正VLLM在该实例上的错误响应。为了提高编辑的效率和准确性，论文还引入了视觉和文本语义信息来进行专家筛选和融合。

技术框架：LiveEdit的整体框架包括三个主要模块：编辑专家生成器、硬过滤机制和软路由机制。首先，编辑专家生成器为每个编辑实例生成一个低秩专家。然后，硬过滤机制利用视觉语义知识，粗略地消除与输入查询在视觉上不相关的专家。最后，软路由机制基于文本语义相关性，对视觉上相关的专家进行融合，得到最终的编辑结果。

关键创新：LiveEdit的关键创新在于将低秩混合专家模型与视觉和文本语义信息相结合，用于VLLM的终身知识编辑。与现有方法相比，LiveEdit能够更有效地对VLLM进行知识编辑，并且能够更好地适应终身学习场景。

关键设计：在编辑专家生成器中，论文使用低秩分解来减少专家的参数量，从而提高训练效率。在硬过滤机制中，论文使用视觉语义知识来判断专家是否与输入查询在视觉上相关。在软路由机制中，论文使用文本语义相关性来计算专家的权重，并对专家进行加权融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了一个用于终身VLLM编辑的基准，并在该基准上进行了大量的实验。实验结果表明，LiveEdit在终身VLLM编辑任务上取得了显著的优势。例如，在知识保留方面，LiveEdit比现有方法提高了10%以上。此外，实验还验证了LiveEdit中每个模块设计的合理性和有效性。

🎯 应用场景

LiveEdit可应用于需要持续更新知识的视觉语言模型，例如智能客服、自动驾驶、医疗诊断等领域。通过不断地对模型进行编辑，可以使其适应新的知识和信息，从而提高其性能和可靠性。例如，在智能客服领域，可以使用LiveEdit来更新客服机器人的知识库，使其能够回答用户提出的新问题。

📄 摘要（原文）

Model editing aims to correct inaccurate knowledge, update outdated information, and incorporate new data into Large Language Models (LLMs) without the need for retraining. This task poses challenges in lifelong scenarios where edits must be continuously applied for real-world applications. While some editors demonstrate strong robustness for lifelong editing in pure LLMs, Vision LLMs (VLLMs), which incorporate an additional vision modality, are not directly adaptable to existing LLM editors. In this paper, we propose LiveEdit, a LIfelong Vision language modEl Edit to bridge the gap between lifelong LLM editing and VLLMs. We begin by training an editing expert generator to independently produce low-rank experts for each editing instance, with the goal of correcting the relevant responses of the VLLM. A hard filtering mechanism is developed to utilize visual semantic knowledge, thereby coarsely eliminating visually irrelevant experts for input queries during the inference stage of the post-edited model. Finally, to integrate visually relevant experts, we introduce a soft routing mechanism based on textual semantic relevance to achieve multi-expert fusion. For evaluation, we establish a benchmark for lifelong VLLM editing. Extensive experiments demonstrate that LiveEdit offers significant advantages in lifelong VLLM editing scenarios. Further experiments validate the rationality and effectiveness of each module design in LiveEdit.