LGD: Leveraging Generative Descriptions for Zero-Shot Referring Image Segmentation

📄 arXiv: 2504.14467v2 📥 PDF

作者: Jiachen Li, Qing Xie, Renshu Gu, Jinyu Xu, Yongjian Liu, Xiaohan Yu

分类: cs.CV

发布日期: 2025-04-20 (更新: 2025-05-01)

💡 一句话要点

LGD：利用生成式描述增强零样本指代图像分割的区域-文本匹配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 指代图像分割 多模态学习 大型语言模型 生成式描述

📋 核心要点

  1. 现有零样本指代图像分割方法依赖视觉-语言模型和掩码提议网络，但易受指代表达式歧义和多样性的影响，导致定位错误。
  2. LGD框架利用多模态大型语言模型的生成能力，通过属性和周围描述增强区域-文本匹配，从而更准确地定位目标。
  3. 实验结果表明，LGD在RefCOCO、RefCOCO+和RefCOCOg数据集上显著提升了性能，oIoU和mIoU分别提升高达9.97%和11.29%。

📝 摘要（中文）

零样本指代图像分割旨在根据指代表达式定位和分割目标区域，其主要挑战在于在没有训练的情况下对齐和匹配视觉和文本模态之间的语义。先前的工作通过利用视觉-语言模型和掩码提议网络进行区域-文本匹配来解决这一挑战。然而，这种范式可能由于自由形式指代表达式固有的模糊性和多样性而导致不正确的目标定位。为了缓解这个问题，我们提出了LGD（利用生成式描述），一个利用多模态大型语言模型先进的语言生成能力来增强视觉-语言模型中区域-文本匹配性能的框架。具体来说，我们首先设计了两种提示，即属性提示和周围提示，以指导多模态大型语言模型生成与指代对象关键属性和周围对象细节相关的描述，分别称为属性描述和周围描述。其次，引入了三个视觉-文本匹配分数来评估实例级视觉特征和文本特征之间的相似性，从而确定与指代表达式最相关的掩码。所提出的方法在三个公共数据集RefCOCO、RefCOCO+和RefCOCOg上实现了新的最先进性能，与以前的方法相比，oIoU的最大改进为9.97%，mIoU的最大改进为11.29%。

🔬 方法详解

问题定义：零样本指代图像分割任务旨在根据给定的文本描述，在图像中分割出对应的目标区域。现有方法主要依赖于视觉-语言模型进行区域-文本匹配，但由于指代表达式的多样性和模糊性，以及缺乏训练数据，导致目标定位精度不高，容易出现语义误匹配。

核心思路：LGD的核心思路是利用多模态大型语言模型（MLLM）强大的语言生成能力，为图像中的候选区域生成更丰富的描述信息，从而增强视觉-语言模型的区域-文本匹配能力。通过生成更细粒度的属性描述和周围环境描述，可以更准确地捕捉指代表达式的语义信息，减少歧义，提高匹配精度。

技术框架：LGD框架主要包含以下几个阶段：1) 图像区域提议：使用现有的掩码提议网络生成候选的目标区域。2) 描述生成：设计属性提示和周围提示，引导MLLM为每个候选区域生成属性描述和周围描述。3) 特征提取：提取候选区域的视觉特征和生成的文本描述的文本特征。4) 匹配评分：计算视觉特征和文本特征之间的相似度，得到三个匹配分数，用于评估候选区域与指代表达式的相关性。5) 掩码选择：选择匹配分数最高的候选区域作为最终的分割结果。

关键创新：LGD的关键创新在于利用MLLM生成更具信息量的区域描述，从而增强视觉-语言模型的匹配能力。与以往方法直接使用视觉特征和原始指代表达式进行匹配不同，LGD通过生成式描述弥补了视觉信息和文本信息之间的语义鸿沟，提高了匹配的准确性和鲁棒性。

关键设计：1) 属性提示：用于引导MLLM生成目标区域的关键属性描述，例如颜色、形状、材质等。2) 周围提示：用于引导MLLM生成目标区域周围环境的描述，例如相邻物体、场景上下文等。3) 三个匹配分数：包括视觉-文本匹配分数、属性匹配分数和周围匹配分数，分别用于评估视觉特征与原始指代表达式、属性描述和周围描述之间的相似度。这些分数被加权组合以获得最终的匹配分数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LGD在RefCOCO、RefCOCO+和RefCOCOg三个标准数据集上取得了显著的性能提升。在RefCOCOg数据集上，LGD的oIoU指标达到了64.26%，相比之前的最佳方法提升了9.97%；mIoU指标达到了66.18%，提升了11.29%。这些结果表明，LGD能够有效地利用生成式描述来增强零样本指代图像分割的性能。

🎯 应用场景

LGD在零样本指代图像分割领域具有广泛的应用前景，例如智能图像编辑、视觉问答、机器人导航和人机交互等。该技术可以帮助机器理解人类的自然语言指令，从而实现更智能化的图像处理和交互。

📄 摘要（原文）

Zero-shot referring image segmentation aims to locate and segment the target region based on a referring expression, with the primary challenge of aligning and matching semantics across visual and textual modalities without training. Previous works address this challenge by utilizing Vision-Language Models and mask proposal networks for region-text matching. However, this paradigm may lead to incorrect target localization due to the inherent ambiguity and diversity of free-form referring expressions. To alleviate this issue, we present LGD (Leveraging Generative Descriptions), a framework that utilizes the advanced language generation capabilities of Multi-Modal Large Language Models to enhance region-text matching performance in Vision-Language Models. Specifically, we first design two kinds of prompts, the attribute prompt and the surrounding prompt, to guide the Multi-Modal Large Language Models in generating descriptions related to the crucial attributes of the referent object and the details of surrounding objects, referred to as attribute description and surrounding description, respectively. Secondly, three visual-text matching scores are introduced to evaluate the similarity between instance-level visual features and textual features, which determines the mask most associated with the referring expression. The proposed method achieves new state-of-the-art performance on three public datasets RefCOCO, RefCOCO+ and RefCOCOg, with maximum improvements of 9.97% in oIoU and 11.29% in mIoU compared to previous methods.