Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge

📄 arXiv: 2407.04681v1 📥 PDF

作者: Yuanze Lin, Yunsheng Li, Dongdong Chen, Weijian Xu, Ronald Clark, Philip Torr, Lu Yuan

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-07-05

💡 一句话要点

提出基于外部知识的视觉提示方法，提升多模态大语言模型对细粒度视觉信息的理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉提示 外部知识 细粒度视觉理解 空间嵌入 检索增强生成 视觉问答

📋 核心要点

  1. 多模态大语言模型难以处理需要细粒度或空间信息的视觉理解任务，因为文本难以精确表达这些信息。
  2. 该论文提出将外部知识（如分割、OCR结果）编码为空间嵌入图，作为视觉提示直接输入MLLM，避免了文本坐标转换的间接学习。
  3. 实验表明，该方法在多个视觉理解基准测试中显著提升了MLLM的性能，增强了其细粒度上下文感知能力。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）通过在大量高质量图像-文本数据集上训练取得了显著进展，使其能够普遍理解图像。然而，在文本中显式传达细粒度或空间密集信息（如掩码、姿势）存在固有的困难，这对MLLMs提出了挑战，限制了它们回答需要理解详细或局部视觉元素的问题的能力。受检索增强生成（RAG）概念的启发，本文提出了一种新的视觉提示方法，将从专用视觉模型（例如，实例分割/OCR模型）中获得的细粒度外部知识集成到MLLMs中。这是一个有希望但尚未充分探索的增强MLLMs性能的方向。我们的方法不同于将外部知识转换为额外文本提示的并发工作，后者需要模型间接学习视觉内容和文本坐标之间的对应关系。相反，我们建议将细粒度知识信息直接嵌入到空间嵌入图中作为视觉提示。这种设计可以轻松地集成到各种MLLMs中，例如LLaVA和Mipha，从而显着提高它们的视觉理解性能。通过严格的实验，我们证明了我们的方法可以增强MLLM在九个基准测试中的性能，从而增强其细粒度上下文感知能力。

🔬 方法详解

问题定义：多模态大语言模型（MLLMs）在理解图像方面取得了很大进展，但对于需要细粒度或空间密集信息的视觉任务，例如需要理解图像中特定物体的精确位置或形状的任务，仍然存在挑战。现有的方法通常依赖于文本描述来传递这些信息，但文本在表达空间信息方面存在固有的局限性，导致模型难以准确理解。

核心思路：该论文的核心思路是将外部知识（例如，由实例分割或OCR模型提取的细粒度信息）直接嵌入到视觉提示中，而不是将其转换为文本提示。通过将这些信息编码为空间嵌入图，模型可以直接访问细粒度的视觉信息，而无需学习文本坐标和视觉内容之间的复杂映射关系。

技术框架：该方法的核心是构建一个空间嵌入图，该图将外部知识编码为视觉提示。整体流程如下：1. 使用专门的视觉模型（如实例分割模型）提取图像的细粒度信息。2. 将提取的信息编码为空间嵌入图，其中每个像素的值代表该位置的视觉特征或属性。3. 将空间嵌入图作为视觉提示输入到MLLM中，与原始图像一起用于进行视觉理解任务。MLLM利用视觉提示中的细粒度信息来提高其性能。

关键创新：与现有方法相比，该方法的主要创新在于直接将外部知识嵌入到视觉提示中，而不是将其转换为文本提示。这种方法避免了文本坐标转换的间接学习，使模型能够更有效地利用细粒度的视觉信息。此外，该方法可以轻松地集成到各种MLLMs中，具有很强的通用性。

关键设计：空间嵌入图的设计是关键。具体来说，论文可能探讨了如何有效地编码不同类型的外部知识（例如，实例分割掩码、OCR文本）到空间嵌入图中。此外，如何将空间嵌入图与原始图像融合，以及如何调整MLLM的输入层以适应新的视觉提示，也是重要的技术细节。损失函数可能需要根据具体的任务进行调整，以鼓励模型更好地利用视觉提示中的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在九个基准测试中验证了有效性，表明其能够显著提升MLLM的细粒度上下文感知能力。具体的性能提升数据（例如，在特定数据集上的准确率提升百分比）需要在论文中查找。与将外部知识转换为文本提示的基线方法相比，该方法在多个任务上取得了显著的性能提升。

🎯 应用场景

该研究成果可广泛应用于需要细粒度视觉理解的多模态任务，例如图像编辑、视觉问答、机器人导航、医学图像分析等。通过引入外部知识，可以显著提升MLLM在这些任务中的性能，使其能够更好地理解和处理复杂的视觉场景。未来，该方法有望推动多模态人工智能在实际应用中的发展。

📄 摘要（原文）

In recent years, multimodal large language models (MLLMs) have made significant strides by training on vast high-quality image-text datasets, enabling them to generally understand images well. However, the inherent difficulty in explicitly conveying fine-grained or spatially dense information in text, such as masks, poses a challenge for MLLMs, limiting their ability to answer questions requiring an understanding of detailed or localized visual elements. Drawing inspiration from the Retrieval-Augmented Generation (RAG) concept, this paper proposes a new visual prompt approach to integrate fine-grained external knowledge, gleaned from specialized vision models (e.g., instance segmentation/OCR models), into MLLMs. This is a promising yet underexplored direction for enhancing MLLMs' performance. Our approach diverges from concurrent works, which transform external knowledge into additional text prompts, necessitating the model to indirectly learn the correspondence between visual content and text coordinates. Instead, we propose embedding fine-grained knowledge information directly into a spatial embedding map as a visual prompt. This design can be effortlessly incorporated into various MLLMs, such as LLaVA and Mipha, considerably improving their visual understanding performance. Through rigorous experiments, we demonstrate that our method can enhance MLLM performance across nine benchmarks, amplifying their fine-grained context-aware capabilities.