Semantic-aware SAM for Point-Prompted Instance Segmentation

📄 arXiv: 2312.15895v2 📥 PDF

作者: Zhaoyang Wei, Pengfei Chen, Xuehui Yu, Guorong Li, Jianbin Jiao, Zhenjun Han

分类: cs.CV

发布日期: 2023-12-26 (更新: 2024-05-26)

备注: 16 pages, 8 figures, CVPR2024

💡 一句话要点

提出SAPNet，利用语义感知的SAM进行点提示的实例分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实例分割 点提示 语义分割 弱监督学习 多示例学习 视觉基础模型 SAM 语义匹配

📋 核心要点

  1. SAM虽然强大，但其类别无关性和局部高置信度导致语义模糊，限制了其在类别特定分割中的应用。
  2. SAPNet通过集成MIL和SAM，并引入语义匹配机制，选择最具代表性的mask proposals进行监督学习，解决语义模糊问题。
  3. 实验表明，SAPNet在Pascal VOC和COCO数据集上表现出良好的性能，验证了其语义匹配能力和点提示实例分割的潜力。

📝 摘要（中文）

本文提出了一种基于SAM的、具有成本效益的类别特定分割方法。针对SAM的类别无关输出和局部高置信度分割导致的“语义模糊”问题，设计了语义感知的实例分割网络(SAPNet)。SAPNet集成了多示例学习(MIL)的匹配能力和点提示的SAM，策略性地选择SAM生成的最具代表性的mask proposals来监督分割，并特别关注对象类别信息。此外，引入了点距离引导和框挖掘策略，以缓解弱监督分割中固有的“组”和“局部”问题。在Pascal VOC和COCO上的实验结果表明，所提出的SAPNet具有良好的性能，强调了其语义匹配能力及其推进点提示实例分割的潜力。代码将会公开。

🔬 方法详解

问题定义：论文旨在解决点提示下的类别特定实例分割问题。现有方法，特别是直接使用SAM的方法，由于SAM的类别无关性，容易产生语义模糊，导致分割结果不准确，无法满足特定类别的分割需求。此外，弱监督分割中常见的“组”问题（将多个对象分割成一个整体）和“局部”问题（只分割对象的一部分）也是挑战。

核心思路：论文的核心思路是利用SAM生成大量的mask proposals，然后通过语义匹配机制，选择与目标类别最相关的mask proposals作为正样本，指导分割网络的训练。通过多示例学习(MIL)框架，将分割问题转化为一个选择问题，从而克服SAM的类别无关性。同时，引入点距离引导和框挖掘策略，缓解弱监督分割中的“组”和“局部”问题。

技术框架：SAPNet的整体框架包括三个主要模块：1) SAM mask proposal generation：使用点提示的SAM生成大量的mask proposals。2) Semantic-Aware Instance Segmentation Network (SAPNet)：该网络是核心模块，负责选择最具代表性的mask proposals进行监督学习。它集成了MIL和语义匹配机制。3) Point Distance Guidance and Box Mining Strategy：这两个策略用于缓解弱监督分割中的“组”和“局部”问题，进一步提升分割性能。

关键创新：论文的关键创新在于提出了Semantic-Aware Instance Segmentation Network (SAPNet)，该网络能够有效地利用SAM生成的mask proposals，并通过语义匹配机制选择与目标类别最相关的mask proposals进行监督学习。此外，点距离引导和框挖掘策略也是重要的创新点，它们能够缓解弱监督分割中的常见问题。

关键设计：SAPNet的关键设计包括：1) 使用MIL框架将分割问题转化为选择问题。2) 设计语义匹配模块，用于计算mask proposals与目标类别之间的相似度。3) 引入点距离引导，鼓励网络关注距离提示点较近的区域。4) 采用框挖掘策略，挖掘包含完整对象的mask proposals。损失函数的设计也至关重要，它需要能够有效地指导网络学习语义信息，并抑制“组”和“局部”问题。

📊 实验亮点

SAPNet在Pascal VOC和COCO数据集上进行了实验验证。实验结果表明，SAPNet能够有效地利用SAM生成的mask proposals，并通过语义匹配机制选择与目标类别最相关的mask proposals进行监督学习。相比于直接使用SAM的方法，SAPNet在类别特定实例分割任务上取得了显著的性能提升，证明了其语义匹配能力和点提示实例分割的潜力。

🎯 应用场景

该研究成果可应用于多种场景，例如智能标注、医学图像分析、遥感图像解译等。在这些场景中，人工标注成本高昂，而点提示的实例分割可以显著降低标注成本。通过结合SAM的强大分割能力和SAPNet的语义匹配能力，可以实现高效、准确的类别特定实例分割，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Single-point annotation in visual tasks, with the goal of minimizing labelling costs, is becoming increasingly prominent in research. Recently, visual foundation models, such as Segment Anything (SAM), have gained widespread usage due to their robust zero-shot capabilities and exceptional annotation performance. However, SAM's class-agnostic output and high confidence in local segmentation introduce 'semantic ambiguity', posing a challenge for precise category-specific segmentation. In this paper, we introduce a cost-effective category-specific segmenter using SAM. To tackle this challenge, we have devised a Semantic-Aware Instance Segmentation Network (SAPNet) that integrates Multiple Instance Learning (MIL) with matching capability and SAM with point prompts. SAPNet strategically selects the most representative mask proposals generated by SAM to supervise segmentation, with a specific focus on object category information. Moreover, we introduce the Point Distance Guidance and Box Mining Strategy to mitigate inherent challenges: 'group' and 'local' issues in weakly supervised segmentation. These strategies serve to further enhance the overall segmentation performance. The experimental results on Pascal VOC and COCO demonstrate the promising performance of our proposed SAPNet, emphasizing its semantic matching capabilities and its potential to advance point-prompted instance segmentation. The code will be made publicly available.