Insight Over Sight: Exploring the Vision-Knowledge Conflicts in Multimodal LLMs
作者: Xiaoyuan Liu, Wenxuan Wang, Youliang Yuan, Jen-tse Huang, Qiuzhi Liu, Pinjia He, Zhaopeng Tu
分类: cs.CL, cs.CV
发布日期: 2024-10-10 (更新: 2025-05-31)
备注: Accepted by ACL 2025 main
💡 一句话要点
提出评估框架，揭示多模态大语言模型中视觉信息与常识知识的冲突问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉-知识冲突 对抗样本 自动化评估 常识推理
📋 核心要点
- 多模态大语言模型在理解视觉信息时，容易与模型自身存储的常识知识产生冲突，导致错误判断。
- 论文提出一个自动化框架，生成对抗性样本，用于评估和诊断MLLM中的视觉-知识冲突。
- 实验结果表明，现有MLLM在解决视觉-知识冲突时存在过度依赖参数知识的问题，且提出的“关注视觉”提示策略能缓解但不能完全解决该问题。
📝 摘要（中文）
本文探讨了多模态大语言模型(MLLM)中常识层面的视觉-知识冲突问题，即视觉信息与模型内部常识知识相矛盾的情况。为了研究这个问题，我们引入了一个自动化框架，并结合人工质量控制，生成用于模拟和评估MLLM中这些冲突的输入。利用该框架，我们构建了一个包含374张原始图像和1122个高质量问答(QA)对的诊断基准。该基准涵盖了冲突的两个方面和三种问题类型，提供了一个全面的评估工具。我们应用该基准来评估来自不同模型系列的九个代表性MLLM的冲突解决能力。结果表明，大约20%的查询明显过度依赖参数知识，尤其是在Yes-No和与动作相关的问题中。基于这些发现，我们评估了现有方法在缓解冲突方面的有效性，并将它们与我们提出的“关注视觉”提示策略进行了比较。尽管取得了一些改进，但视觉-知识冲突仍然没有解决，并且可以通过我们的数据构建框架进一步扩大。我们提出的框架、基准和分析有助于理解和缓解MLLM中的视觉-知识冲突。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）中存在的视觉信息与模型内部常识知识相冲突的问题。现有方法未能有效识别和解决此类冲突，导致模型在需要结合视觉信息和常识知识的任务中表现不佳。这种冲突的根源在于模型可能过度依赖其预训练的参数知识，而忽略了图像中提供的视觉证据。
核心思路：论文的核心思路是构建一个专门设计的评估框架，用于系统性地识别和量化MLLM中的视觉-知识冲突。该框架通过生成对抗性样本，即视觉信息与常识知识相矛盾的图像和问题对，来测试模型在冲突情境下的表现。通过分析模型的回答，可以判断其是否过度依赖参数知识，以及在何种类型的冲突中更容易出错。
技术框架：该框架包含以下几个主要模块：1) 对抗样本生成模块：自动生成图像和问题对，其中图像包含与常识知识相矛盾的视觉信息。2) 人工质量控制模块：人工审核生成的样本，确保其质量和有效性。3) 评估模块：将生成的样本输入到MLLM中，并记录模型的回答。4) 分析模块：分析模型的回答，识别视觉-知识冲突，并评估模型的冲突解决能力。
关键创新：论文的关键创新在于提出了一个自动化且可扩展的框架，用于生成对抗性样本，从而系统性地评估MLLM中的视觉-知识冲突。该框架结合了自动化生成和人工审核，保证了样本的质量和多样性。此外，论文还提出了“关注视觉”的提示策略，旨在引导模型更多地关注图像中的视觉信息，从而缓解视觉-知识冲突。
关键设计：对抗样本生成模块利用预定义的规则和模板，自动生成图像和问题对。例如，可以生成一张包含香蕉的图片，但问题是“图中物体是黄色的吗？”，如果模型过度依赖“香蕉是黄色”的常识，即使图片中的香蕉是蓝色的，也可能回答“是”。“关注视觉”的提示策略通过在问题中加入强调视觉信息的指令，例如“根据图片，图中物体是什么颜色？”，来引导模型更多地关注图像中的视觉信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有MLLM在约20%的查询中过度依赖参数知识，尤其是在Yes-No和与动作相关的问题中。“关注视觉”提示策略能够缓解部分冲突，但仍有改进空间。构建的包含374张图像和1122个问答对的诊断基准，为后续研究提供了有价值的评估工具。
🎯 应用场景
该研究成果可应用于提升多模态大语言模型在视觉问答、图像描述、机器人导航等领域的性能。通过识别和缓解视觉-知识冲突，可以提高模型在复杂场景下的可靠性和准确性，使其更好地服务于实际应用，例如自动驾驶、智能家居和医疗诊断。
📄 摘要（原文）
This paper explores the problem of commonsense level vision-knowledge conflict in Multimodal Large Language Models (MLLMs), where visual information contradicts model's internal commonsense knowledge. To study this issue, we introduce an automated framework, augmented with human-in-the-loop quality control, to generate inputs designed to simulate and evaluate these conflicts in MLLMs. Using this framework, we have crafted a diagnostic benchmark consisting of 374 original images and 1,122 high-quality question-answer (QA) pairs. The benchmark covers two aspects of conflict and three question types, providing a thorough assessment tool. We apply this benchmark to assess the conflict-resolution capabilities of nine representative MLLMs from various model families. Our results indicate an evident over-reliance on parametric knowledge for approximately 20% of all queries, especially among Yes-No and action-related problems. Based on these findings, we evaluate the effectiveness of existing approaches to mitigating the conflicts and compare them to our "Focus-on-Vision" prompting strategy. Despite some improvement, the vision-knowledge conflict remains unresolved and can be further scaled through our data construction framework. Our proposed framework, benchmark, and analysis contribute to the understanding and mitigation of vision-knowledge conflicts in MLLMs.