Attribution Analysis Meets Model Editing: Advancing Knowledge Correction in Vision Language Models with VisEdit

📄 arXiv: 2408.09916v3 📥 PDF

作者: Qizhou Chen, Taolin Zhang, Chengyu Wang, Xiaofeng He, Dakan Wang, Tingting Liu

分类: cs.CV, cs.CL

发布日期: 2024-08-19 (更新: 2025-01-23)

备注: Accepted to AAAI-2025 as an oral presentation

💡 一句话要点

VisEdit：通过编辑视觉表征实现视觉语言模型知识校正

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 模型编辑 知识校正 归因分析 视觉表征

📋 核心要点

  1. 现有VLLM模型编辑研究不足，缺乏对视觉表征影响的深入理解。
  2. VisEdit通过归因分析确定关键视觉区域，并编辑这些区域的中间层表征以修正知识。
  3. 实验表明，VisEdit在多个VLLM上优于现有LLM编辑方法，有效提升知识校正能力。

📝 摘要（中文）

模型编辑旨在无需重新训练即可修正大型模型中过时或错误的知识。最近的研究发现，提示中主体最终token的中间层表示对事实预测有很强的影响，并基于此开发了大型语言模型（LLM）编辑技术。然而，对于视觉语言模型（VLLM），视觉表征如何影响decoder-only语言模型的预测在很大程度上仍未被探索。据我们所知，VLLM的模型编辑在文献中尚未得到广泛研究。在这项工作中，我们采用贡献分配和噪声扰动方法来衡量视觉表征对token预测的贡献。我们的归因分析表明，与提示高度相关的中间到后期层的视觉表征对预测有显著贡献。基于这些见解，我们提出VisEdit，一种用于VLLM的新型模型编辑器，通过编辑对编辑提示重要的区域中的中间视觉表征来有效地纠正知识。我们使用多个VLLM骨干网络和公共VLLM编辑基准数据集评估了VisEdit。结果表明，VisEdit优于从现有最先进的LLM编辑器改编而来的强大基线。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型（VLLM）中知识过时或错误的问题。现有方法主要集中在大型语言模型（LLM）的编辑上，而忽略了VLLM中视觉表征对预测的影响。直接将LLM编辑方法应用于VLLM效果不佳，因为VLLM的预测依赖于视觉和语言信息的复杂交互。

核心思路：论文的核心思路是通过编辑VLLM中间层的视觉表征来修正知识。作者首先通过贡献分配和噪声扰动方法分析了视觉表征对token预测的贡献，发现与提示相关的中间到后期层的视觉表征对预测影响最大。因此，VisEdit选择性地编辑这些关键区域的视觉表征，从而实现知识的精确修正。

技术框架：VisEdit主要包含以下几个阶段：1) 归因分析：使用贡献分配和噪声扰动方法确定对预测贡献最大的视觉表征区域。2) 编辑定位：根据归因分析结果，选择需要编辑的视觉表征层和区域。3) 表征编辑：使用特定的编辑策略（例如，添加或替换表征）来修改选定的视觉表征。4) 知识验证：评估编辑后的VLLM在相关任务上的性能，验证知识修正的有效性。

关键创新：VisEdit的关键创新在于它将归因分析与模型编辑相结合，针对VLLM的特点，通过编辑中间层的视觉表征来实现知识修正。与直接编辑语言模型参数的方法不同，VisEdit更加关注视觉信息在VLLM预测中的作用，从而能够更有效地修正与视觉相关的知识。

关键设计：VisEdit的关键设计包括：1) 使用Integrated Gradients等方法进行贡献分配，量化不同视觉区域对预测的贡献。2) 通过噪声扰动实验验证归因分析的准确性。3) 设计了多种视觉表征编辑策略，例如，基于梯度的方法或基于样本的方法。4) 使用编辑后的VLLM在知识问答等任务上进行评估，并采用编辑成功率、泛化能力等指标来衡量编辑效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VisEdit在多个VLLM骨干网络（例如LLaVA, InstructBLIP）和公共VLLM编辑基准数据集上均取得了显著的性能提升。与从现有LLM编辑器改编而来的基线方法相比，VisEdit在编辑成功率和泛化能力方面均有明显优势，证明了其在VLLM知识校正方面的有效性。

🎯 应用场景

VisEdit可应用于多种需要知识更新的视觉语言任务，例如：自动驾驶（更新交通规则）、医疗诊断（修正疾病认知）、智能客服（提供最新产品信息）等。该研究有助于提升VLLM的可靠性和实用性，并促进其在现实世界中的广泛应用。

📄 摘要（原文）

Model editing aims to correct outdated or erroneous knowledge in large models without costly retraining. Recent research discovered that the mid-layer representation of the subject's final token in a prompt has a strong influence on factual predictions, and developed Large Language Model (LLM) editing techniques based on this observation. However, for Vision-LLMs (VLLMs), how visual representations impact the predictions from a decoder-only language model remains largely unexplored. To the best of our knowledge, model editing for VLLMs has not been extensively studied in the literature. In this work, we employ the contribution allocation and noise perturbation methods to measure the contributions of visual representations for token predictions. Our attribution analysis shows that visual representations in mid-to-later layers that are highly relevant to the prompt contribute significantly to predictions. Based on these insights, we propose VisEdit, a novel model editor for VLLMs that effectively corrects knowledge by editing intermediate visual representations in regions important to the edit prompt. We evaluated VisEdit using multiple VLLM backbones and public VLLM editing benchmark datasets. The results show the superiority of VisEdit over the strong baselines adapted from existing state-of-the-art editors for LLMs.