Uncovering Entity Identity Confusion in Multimodal Knowledge Editing
作者: Shu Wu, Xiaotian Ye, Xinyu Mou, Dongsheng Liu, Xiaohan Wang, Mengqi Zhang
分类: cs.CL, cs.CV
发布日期: 2026-05-07
💡 一句话要点
揭示多模态知识编辑中的实体身份混淆问题，并提出基于I-E绑定约束的改进策略
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态知识编辑 视觉语言模型 实体身份混淆 模型鲁棒性 知识表示学习 多模态对齐
📋 核心要点
- 现有MKE方法无法区分图像-实体绑定与实体-实体关系，导致模型在编辑时产生“实体身份混淆”的系统性失效。
- 论文提出通过约束编辑过程至模型的I-E处理阶段，强制模型在图像与新实体间建立正确的绑定关系，而非仅更新文本标签。
- 构建了EC-Bench诊断基准，实验证明该方法能有效减少EIC现象，提升模型在多模态知识编辑中的忠实度与鲁棒性。
📝 摘要（中文）
多模态知识编辑（MKE）旨在部署后修正大型视觉语言模型（LVLM）的内部知识，但编辑后模型的行为模式尚缺乏深入研究。本文识别出一种系统性失效模式，即“实体身份混淆”（EIC）：编辑后的模型在处理仅文本查询时，会错误地将原始实体的身份信息替换为新实体的信息。为严谨探究EIC，我们构建了诊断基准EC-Bench，用于探测图像-实体绑定在编辑前后的偏移。分析表明，EIC源于现有方法无法区分图像-实体（I-E）绑定与实体-实体（E-E）关系知识，导致模型将E-E关联作为捷径过拟合：图像仍被感知为原始实体，而新实体名称仅被视为虚假的身份标签。我们进一步探索了缓解策略，证明将编辑约束在模型的I-E处理阶段，能促使编辑更忠实地作用于I-E绑定，从而显著降低EIC。基于这些发现，我们讨论了忠实MKE的原则性要求，并为未来研究提供了方法论指导。
🔬 方法详解
问题定义：论文旨在解决多模态知识编辑（MKE）中的“实体身份混淆”（EIC）问题。现有方法在更新模型知识时，往往无法区分图像与实体间的绑定（I-E）和实体间的逻辑关系（E-E），导致模型将新实体名称视为虚假标签，而非真正更新视觉感知。
核心思路：核心思路在于解耦I-E绑定与E-E关系。研究认为，编辑应聚焦于修正模型对图像特征的语义映射，而非仅仅修改文本层的关联。通过在编辑过程中引入针对I-E处理阶段的约束，可以引导模型建立正确的视觉-语义对应关系。
技术框架：研究首先通过EC-Bench基准对现有模型进行诊断，量化I-E绑定的偏移程度。随后，通过分析模型内部激活模式，定位负责I-E绑定的关键层，并设计针对性的编辑策略，将知识更新限制在特定的视觉-语言交互模块中。
关键创新：最重要的创新在于揭示了EIC现象的本质——模型将E-E关联作为捷径（Shortcut）。与以往仅关注编辑成功率的方法不同，本研究强调了编辑的“忠实度”，即确保模型在视觉输入下能正确识别新实体，同时在纯文本查询下保持对原始实体身份的正确认知。
关键设计：关键设计包括构建EC-Bench基准以探测绑定偏移，以及引入基于I-E处理阶段的约束机制。通过在优化目标中加入对视觉特征映射的正则化项，防止模型将新实体名称简单地作为文本捷径进行过拟合。
🖼️ 关键图片
📊 实验亮点
通过EC-Bench基准测试，研究量化了现有主流MKE方法在处理实体身份时的系统性偏差。实验结果显示，在引入针对I-E处理阶段的约束后，模型在保持原有编辑成功率的同时，EIC现象显著降低。对比基线模型，该方法在多模态一致性指标上表现出更强的鲁棒性，有效验证了区分I-E与E-E知识对于实现忠实知识编辑的必要性。
🎯 应用场景
该研究对于提升大型视觉语言模型（LVLM）在医疗影像诊断、自动驾驶场景识别及工业质检等高可靠性领域的应用具有重要价值。通过解决知识编辑中的身份混淆问题，能够确保模型在面对动态更新的知识库时，依然保持准确的视觉感知与逻辑推理能力，降低因模型幻觉导致的决策风险。
📄 摘要（原文）
Multimodal knowledge editing (MKE) aims to correct the internal knowledge of large vision-language models after deployment, yet the behavioral patterns of post-edit models remain underexplored. In this paper, we identify a systemic failure mode in edited models, termed Entity Identity Confusion (EIC): edited models exhibit an absurd behavior where text-only queries about the original entity's identity unexpectedly return information about the new entity. To rigorously investigate EIC, we construct EC-Bench, a diagnostic benchmark that directly probes how image-entity bindings shift before and after editing. Our analysis reveals that EIC stems from existing methods failing to distinguish between Image-Entity (I-E) binding and Entity-Entity (E-E) relational knowledge in the model, causing models to overfit E-E associations as a shortcut: the image is still perceived as the original entity, with the new entity's name serving only as a spurious identity label. We further explore potential mitigation strategies, showing that constraining edits to the model's I-E processing stage encourages edits to act more faithfully on I-E binding, thereby substantially reducing EIC. Based on these findings, we discuss principled desiderata for faithful MKE and provide methodological guidance for future research.