Guided SAM: Label-Efficient Part Segmentation

📄 arXiv: 2501.07434v1 📥 PDF

作者: S. B. van Rooij, G. J. Burghouts

分类: cs.CV

发布日期: 2025-01-13

期刊: In International Conference on Pattern Recognition 2024 (pp. 291-306)

💡 一句话要点

Guided SAM：一种标签高效的零件分割方法，利用粗糙标注引导SAM进行精确分割。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 零件分割 弱监督学习 Segment Anything Model 位置提示 图像块分类 机器人操作 标签高效

📋 核心要点

  1. 现有零件分割方法依赖大量标注数据，成本高昂，而SAM虽然强大，但需要人工提示且易过度分割零件。
  2. Guided SAM 通过学习粗糙标注的位置提示来引导 SAM，降低标注成本，并避免对零件的过度分割。
  3. 实验表明，在汽车零件分割任务上，Guided SAM 显著提升了分割精度，同时大幅降低了标注工作量。

📝 摘要（中文）

精确地定位物体零件对于物体识别和机器人操作等任务至关重要。现有的零件分割方法需要大量的训练数据和劳动密集型标注。Segment-Anything Model (SAM) 在各种分割问题上表现出良好的性能，但需要（手动）位置提示来引导其分割位置。此外，由于它是在完整物体而不是物体零件上训练的，因此容易过度分割零件。为了解决这个问题，我们提出了一种新颖的方法，引导 SAM 定位到相关的物体零件。我们的方法从粗糙的图像块标注中学习位置提示，这些标注更容易且成本更低。我们训练图像块分类器来识别零件类别，并将图像块聚合到带有位置提示的感兴趣区域 (ROI) 中。SAM 以这些 ROI 和提示为条件。这种方法被称为“Guided SAM”，提高了效率并减少了手动工作，从而可以用最少的标记数据进行有效的零件分割。我们在汽车零件数据集上验证了 Guided SAM 的有效性，使用平均标注效率提高五倍的标注，将最先进模型的平均 IoU 从 0.37 提高到 0.49。

🔬 方法详解

问题定义：论文旨在解决零件分割任务中，现有方法需要大量精细标注数据的问题。现有方法的痛点在于标注成本高、效率低，难以应用于实际场景。SAM虽然具有zero-shot能力，但需要人工提示，且容易对零件进行过度分割，无法直接应用于零件分割任务。

核心思路：论文的核心思路是利用粗糙的图像块标注来学习位置提示，从而引导 SAM 进行精确的零件分割。通过训练图像块分类器，可以自动生成 SAM 所需的位置提示，避免了人工标注的繁琐过程。同时，通过将图像块聚合到感兴趣区域 (ROI) 中，可以减少 SAM 的过度分割问题。

技术框架：Guided SAM 的整体框架包括以下几个主要模块：1) 粗糙标注获取：获取图像块级别的零件类别标注。2) 图像块分类器训练：训练图像块分类器，用于预测图像块的零件类别。3) 感兴趣区域 (ROI) 生成：根据图像块分类器的预测结果，将属于同一零件类别的图像块聚合到 ROI 中，并生成位置提示。4) SAM 分割：将 ROI 和位置提示输入到 SAM 中，得到零件分割结果。

关键创新：Guided SAM 的关键创新在于利用粗糙标注学习位置提示，从而引导 SAM 进行零件分割。与现有方法相比，Guided SAM 显著降低了标注成本，提高了分割效率。此外，Guided SAM 通过 ROI 聚合，有效减少了 SAM 的过度分割问题。

关键设计：论文的关键设计包括：1) 图像块分类器的网络结构选择，可以使用常见的卷积神经网络或 Transformer 模型。2) ROI 的聚合策略，可以使用基于阈值的聚类算法或基于图的聚类算法。3) 位置提示的生成方式，可以使用 ROI 的中心点或边界框。4) SAM 的输入格式，需要将 ROI 和位置提示转换为 SAM 可以接受的格式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在汽车零件数据集上，Guided SAM 显著提升了分割精度。使用平均标注效率提高五倍的标注，Guided SAM 将最先进模型的平均 IoU 从 0.37 提高到 0.49。这表明 Guided SAM 可以在大幅降低标注成本的同时，实现更高的分割精度。

🎯 应用场景

Guided SAM 在机器人操作、自动驾驶、工业检测等领域具有广泛的应用前景。例如，在机器人操作中，可以利用 Guided SAM 对物体零件进行精确分割，从而实现更精确的抓取和操作。在自动驾驶中，可以利用 Guided SAM 对车辆零件进行分割，从而实现更精确的车辆识别和跟踪。在工业检测中，可以利用 Guided SAM 对产品零件进行分割，从而实现更精确的缺陷检测。

📄 摘要（原文）

Localizing object parts precisely is essential for tasks such as object recognition and robotic manipulation. Recent part segmentation methods require extensive training data and labor-intensive annotations. Segment-Anything Model (SAM) has demonstrated good performance on a wide range of segmentation problems, but requires (manual) positional prompts to guide it where to segment. Furthermore, since it has been trained on full objects instead of object parts, it is prone to over-segmentation of parts. To address this, we propose a novel approach that guides SAM towards the relevant object parts. Our method learns positional prompts from coarse patch annotations that are easier and cheaper to acquire. We train classifiers on image patches to identify part classes and aggregate patches into regions of interest (ROIs) with positional prompts. SAM is conditioned on these ROIs and prompts. This approach, termed `Guided SAM', enhances efficiency and reduces manual effort, allowing effective part segmentation with minimal labeled data. We demonstrate the efficacy of Guided SAM on a dataset of car parts, improving the average IoU on state of the art models from 0.37 to 0.49 with annotations that are on average five times more efficient to acquire.