Osprey: Pixel Understanding with Visual Instruction Tuning

📄 arXiv: 2312.10032v4 📥 PDF

作者: Yuqian Yuan, Wentong Li, Jian Liu, Dongqi Tang, Xinjie Luo, Chi Qin, Lei Zhang, Jianke Zhu

分类: cs.CV

发布日期: 2023-12-15 (更新: 2025-09-06)

备注: CVPR2024, Code and Demo link:https://github.com/CircleRadon/Osprey

🔗 代码/项目: GITHUB

💡 一句话要点

Osprey：通过视觉指令微调实现像素级图像理解

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 像素级理解 视觉指令微调 多模态学习 掩码文本数据 区域理解

📋 核心要点

  1. 现有多模态大语言模型在像素级视觉理解方面存在不足，无法实现精细的视觉语言对齐。
  2. Osprey提出一种掩码-文本指令微调方法，将精细掩码区域融入语言指令，实现像素级视觉理解。
  3. 实验结果表明，Osprey在区域理解任务中表现优异，并能与SAM无缝集成，获得多粒度语义。

📝 摘要（中文）

多模态大型语言模型(MLLMs)最近通过视觉指令微调在通用视觉语言能力方面取得了显著进展。然而，当前的MLLMs主要关注图像级或框级理解，未能实现像素级别的精细视觉语言对齐。此外，缺乏基于掩码的指令数据限制了它们的发展。本文提出了Osprey，一种掩码-文本指令微调方法，通过将精细的掩码区域融入语言指令来扩展MLLMs，旨在实现像素级的视觉理解。为了实现这一目标，我们首先精心策划了一个包含724K样本的基于掩码的区域-文本数据集，然后设计了一个通过将像素级表示注入LLM的视觉语言模型。具体来说，Osprey采用卷积CLIP骨干网络作为视觉编码器，并采用掩码感知视觉提取器从高分辨率输入中提取精确的视觉掩码特征。实验结果表明，Osprey在各种区域理解任务中表现出色，展示了其像素级指令微调的新能力。特别是，Osprey可以与Segment Anything Model (SAM)无缝集成，以获得多粒度语义。

🔬 方法详解

问题定义：现有MLLM主要关注图像级或框级理解，缺乏像素级别的精细视觉语言对齐能力。缺乏高质量的mask-based instruction数据是制约其发展的重要因素。

核心思路：通过引入mask信息，让模型学习像素级别的视觉理解能力。具体来说，就是构建mask-text instruction数据，并设计相应的模型结构，使得模型能够理解mask区域对应的语义信息。

技术框架：Osprey模型主要包含三个模块：卷积CLIP backbone作为视觉编码器，用于提取图像特征；mask-aware visual extractor，用于从高分辨率输入中提取精确的视觉掩码特征；以及LLM，用于进行文本生成和理解。整个流程是，给定图像和mask，视觉编码器和mask-aware visual extractor提取视觉特征，然后将这些特征输入到LLM中，LLM根据指令生成相应的文本描述。

关键创新：Osprey的关键创新在于提出了mask-aware visual extractor，能够有效地提取mask区域的视觉特征，并将其与LLM进行融合。此外，还构建了一个大规模的mask-text instruction数据集，为模型的训练提供了充足的数据。

关键设计：Osprey采用了卷积CLIP作为视觉编码器，这使得模型能够利用CLIP强大的视觉表征能力。Mask-aware visual extractor的具体结构未知，但其核心思想是利用卷积操作提取mask区域的特征。损失函数未知，但推测是基于文本生成的交叉熵损失。

📊 实验亮点

Osprey在各种区域理解任务中表现出色，证明了其像素级指令微调的有效性。尤其值得一提的是，Osprey可以与SAM无缝集成，从而获得多粒度的语义信息。具体性能数据未知，但论文强调了Osprey在区域理解任务上的优越性。

🎯 应用场景

Osprey在图像编辑、自动驾驶、医疗影像分析等领域具有广泛的应用前景。例如，在图像编辑中，可以利用Osprey对图像中的特定区域进行精确的语义描述和修改。在自动驾驶中，可以帮助车辆更好地理解周围环境，提高安全性。在医疗影像分析中，可以辅助医生进行疾病诊断。

📄 摘要（原文）

Multimodal large language models (MLLMs) have recently achieved impressive general-purpose vision-language capabilities through visual instruction tuning. However, current MLLMs primarily focus on image-level or box-level understanding, falling short in achieving fine-grained vision-language alignment at pixel level. Besides, the lack of mask-based instruction data limits their advancements. In this paper, we propose Osprey, a mask-text instruction tuning approach, to extend MLLMs by incorporating fine-grained mask regions into language instruction, aiming at achieving pixel-wise visual understanding. To achieve this goal, we first meticulously curate a mask-based region-text dataset with 724K samples, and then design a vision-language model by injecting pixel-level representation into LLM. Specifically, Osprey adopts a convolutional CLIP backbone as the vision encoder and employs a mask-aware visual extractor to extract precise visual mask features from high resolution input. Experimental results demonstrate Osprey's superiority in various region understanding tasks, showcasing its new capability for pixel-level instruction tuning. In particular, Osprey can be integrated with Segment Anything Model (SAM) seamlessly to obtain multi-granularity semantics. The source code, dataset and demo can be found at https://github.com/CircleRadon/Osprey.