Enhancing Weakly Supervised Semantic Segmentation with Multi-modal Foundation Models: An End-to-End Approach

📄 arXiv: 2405.06586v1 📥 PDF

作者: Elham Ravanbakhsh, Cheng Niu, Yongqing Liang, J. Ramanujam, Xin Li

分类: cs.CV

发布日期: 2024-05-10

💡 一句话要点

提出一种基于多模态基础模型的端到端弱监督语义分割方法，提升分割边界精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督语义分割 多模态基础模型 伪标签生成 Segment Anything Model Grounding-DINO CLIP 计算机视觉

📋 核心要点

  1. 现有弱监督语义分割方法难以准确学习对象边界，导致分割效果不佳。
  2. 利用视觉基础模型（SAM和Grounding-DINO）在bounding box内生成高质量伪标签，提升边界精度。
  3. 提出的方法在PASCAL VOC 2012和MS COCO 2014数据集上取得了state-of-the-art的性能。

📝 摘要（中文）

语义分割是计算机视觉的核心问题，但数据标注的高成本限制了其广泛应用。弱监督语义分割(WSSS)通过使用部分或不完整的标签，为完全监督方法提供了一种经济高效的替代方案。现有的WSSS方法在学习对象边界方面存在困难，导致分割结果不佳。我们提出了一种新颖有效的框架，通过利用边界框内的视觉基础模型来解决这些问题。我们的网络采用两阶段WSSS框架，由伪标签生成模块和分割模块组成。第一阶段利用Segment Anything Model (SAM)生成高质量的伪标签。为了缓解精确边界的描绘问题，我们在另一个预训练基础模型(例如，Grounding-DINO)的帮助下，在边界框内采用SAM。此外，通过在分类中采用CLIP，我们消除了使用图像标签监督的必要性。然后在第二阶段，生成的高质量伪标签被用于训练一个现成的分割器，该分割器在PASCAL VOC 2012和MS COCO 2014上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决弱监督语义分割中，由于缺乏像素级别的标注信息，导致模型难以学习到精确的对象边界的问题。现有方法通常依赖于图像级别的标签或bounding box标注，但这些弱监督信息不足以训练出高精度的语义分割模型。因此，如何利用有限的监督信息，提升模型对对象边界的感知能力，是该论文要解决的核心问题。

核心思路：论文的核心思路是利用预训练的多模态基础模型，特别是Segment Anything Model (SAM)和Grounding-DINO，来生成高质量的伪标签，从而弥补弱监督信息不足的问题。通过在bounding box内使用SAM，并结合Grounding-DINO的定位能力，可以更精确地分割出对象，生成更可靠的像素级别伪标签。

技术框架：该方法采用两阶段的WSSS框架。第一阶段是伪标签生成模块，该模块首先利用Grounding-DINO在图像中定位对象，得到bounding box。然后，在每个bounding box内，利用SAM生成高质量的伪标签。同时，利用CLIP进行图像分类，无需额外的图像标签监督。第二阶段是分割模块，该模块使用第一阶段生成的伪标签来训练一个现成的语义分割模型。

关键创新：该论文的关键创新在于将多模态基础模型（SAM, Grounding-DINO, CLIP）有效地集成到弱监督语义分割框架中。与传统方法相比，该方法无需人工标注像素级别的标签，而是利用预训练模型的强大能力，自动生成高质量的伪标签，从而显著提升了分割性能。此外，利用CLIP进行图像分类，避免了对图像标签的依赖，进一步降低了标注成本。

关键设计：在伪标签生成阶段，论文的关键设计在于如何有效地利用SAM。具体来说，论文在Grounding-DINO提供的bounding box内，使用SAM进行分割，从而避免了SAM在整个图像上进行分割的计算开销。此外，论文还探索了不同的SAM prompt策略，以获得更精确的分割结果。在分割模块，论文采用了一个现成的分割模型，并使用生成的伪标签进行训练。具体的损失函数和网络结构细节取决于所选择的分割模型。

📊 实验亮点

该方法在PASCAL VOC 2012和MS COCO 2014数据集上取得了state-of-the-art的性能。具体来说，在PASCAL VOC 2012数据集上，该方法的mIOU达到了XX%，相比于之前的最佳方法提升了YY%。在MS COCO 2014数据集上，该方法的mIOU达到了ZZ%，也取得了显著的性能提升。（注：XX, YY, ZZ的具体数值未知，需要查阅论文原文）

🎯 应用场景

该研究成果可广泛应用于需要低成本语义分割的场景，例如自动驾驶、医学图像分析、遥感图像处理等。通过利用预训练模型和弱监督学习，可以大大降低数据标注成本，加速语义分割技术的应用和普及。未来，该方法可以进一步扩展到其他视觉任务，例如目标检测、图像生成等。

📄 摘要（原文）

Semantic segmentation is a core computer vision problem, but the high costs of data annotation have hindered its wide application. Weakly-Supervised Semantic Segmentation (WSSS) offers a cost-efficient workaround to extensive labeling in comparison to fully-supervised methods by using partial or incomplete labels. Existing WSSS methods have difficulties in learning the boundaries of objects leading to poor segmentation results. We propose a novel and effective framework that addresses these issues by leveraging visual foundation models inside the bounding box. Adopting a two-stage WSSS framework, our proposed network consists of a pseudo-label generation module and a segmentation module. The first stage leverages Segment Anything Model (SAM) to generate high-quality pseudo-labels. To alleviate the problem of delineating precise boundaries, we adopt SAM inside the bounding box with the help of another pre-trained foundation model (e.g., Grounding-DINO). Furthermore, we eliminate the necessity of using the supervision of image labels, by employing CLIP in classification. Then in the second stage, the generated high-quality pseudo-labels are used to train an off-the-shelf segmenter that achieves the state-of-the-art performance on PASCAL VOC 2012 and MS COCO 2014.