In Defense of Lazy Visual Grounding for Open-Vocabulary Semantic Segmentation
作者: Dahyun Kang, Minsu Cho
分类: cs.CV
发布日期: 2024-08-09
备注: Accepted to ECCV 2024
💡 一句话要点
提出惰性视觉Grounding，用于开放词汇语义分割，无需额外训练。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放词汇语义分割 视觉Grounding 无监督学习 对象掩码发现 归一化切割
📋 核心要点
- 现有开放词汇语义分割方法过度依赖图像到文本的分类，缺乏对图像中对象本身的理解。
- 惰性视觉Grounding方法首先无监督地发现图像中的对象掩码，然后将文本信息与这些对象关联起来。
- 该方法无需额外训练，在多个数据集上取得了优异的分割效果，并能精确定位图像中的对象。
📝 摘要（中文）
本文提出了一种名为“惰性视觉Grounding”的两阶段方法，用于开放词汇语义分割。该方法首先进行无监督的对象掩码发现，然后进行对象Grounding。现有方法通常将此任务视为像素到文本的分类，缺乏对象级别的理解，并依赖于预训练的视觉-语言模型的图像到文本分类能力。我们认为，视觉对象本身是可区分的，无需先验文本信息，因为分割本质上是一个视觉任务。惰性视觉Grounding首先通过迭代的归一化切割来发现覆盖图像的对象掩码，然后在后期交互中将文本分配给发现的对象。我们的模型无需额外训练，但在五个公共数据集（Pascal VOC、Pascal Context、COCO-object、COCO-stuff 和 ADE 20K）上表现出良好的性能。尤其是在视觉上吸引人的分割结果证明了该模型精确定位对象的能力。
🔬 方法详解
问题定义：开放词汇语义分割旨在将图像中的每个像素分配到预定义的类别，但现有方法通常依赖于预训练的视觉-语言模型，将该任务视为像素到文本的分类问题。这种方法忽略了图像本身所包含的视觉信息，并且缺乏对图像中对象级别的理解。现有方法的痛点在于需要大量的标注数据进行训练，并且泛化能力有限。
核心思路：论文的核心思路是将语义分割任务分解为两个阶段：首先，通过无监督的方式发现图像中的对象掩码；然后，将文本信息与这些对象掩码关联起来。这种“先分割后标注”的策略避免了直接进行像素到文本的分类，从而更好地利用了图像本身的视觉信息。这样设计的目的是为了减少对预训练视觉-语言模型的依赖，并提高模型的泛化能力。
技术框架：惰性视觉Grounding方法包含两个主要阶段：对象掩码发现和对象Grounding。在对象掩码发现阶段，该方法使用迭代的归一化切割算法来发现覆盖图像的对象掩码。在对象Grounding阶段，该方法将文本信息与发现的对象掩码关联起来，从而实现语义分割。整体流程是先通过纯视觉的方法提取图像中的对象，再利用文本信息进行语义标注。
关键创新：该方法最重要的技术创新点在于其“惰性”的Grounding策略，即先进行无监督的对象掩码发现，然后再将文本信息与这些对象关联起来。与现有方法相比，该方法避免了直接进行像素到文本的分类，从而更好地利用了图像本身的视觉信息。这种策略使得模型能够在没有大量标注数据的情况下，实现良好的语义分割效果。
关键设计：在对象掩码发现阶段，论文使用了迭代的归一化切割算法，该算法通过迭代地将图像分割成更小的区域，从而发现图像中的对象掩码。归一化切割算法的目标是最小化切割的代价，同时最大化切割后区域的相似性。在对象Grounding阶段，论文使用了余弦相似度来衡量文本信息与对象掩码之间的相关性，并将文本信息分配给与其最相关的对象掩码。具体的参数设置和损失函数细节在论文中未明确说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
该方法在五个公共数据集（Pascal VOC、Pascal Context、COCO-object、COCO-stuff 和 ADE 20K）上取得了良好的性能，证明了其有效性。尤其是在视觉上吸引人的分割结果，展示了模型精确定位对象的能力。由于论文中没有明确给出具体的性能指标和提升幅度，因此具体数据未知。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、图像编辑、场景理解等领域。通过开放词汇语义分割，机器可以理解图像中不同对象的含义，从而更好地与环境交互。该方法无需额外训练的特性，使其在资源受限的场景下具有重要的应用价值，并为未来的视觉理解系统提供了新的思路。
📄 摘要（原文）
We present lazy visual grounding, a two-stage approach of unsupervised object mask discovery followed by object grounding, for open-vocabulary semantic segmentation. Plenty of the previous art casts this task as pixel-to-text classification without object-level comprehension, leveraging the image-to-text classification capability of pretrained vision-and-language models. We argue that visual objects are distinguishable without the prior text information as segmentation is essentially a vision task. Lazy visual grounding first discovers object masks covering an image with iterative Normalized cuts and then later assigns text on the discovered objects in a late interaction manner. Our model requires no additional training yet shows great performance on five public datasets: Pascal VOC, Pascal Context, COCO-object, COCO-stuff, and ADE 20K. Especially, the visually appealing segmentation results demonstrate the model capability to localize objects precisely. Paper homepage: https://cvlab.postech.ac.kr/research/lazygrounding