FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation
作者: Xi Chen, Haosen Yang, Sheng Jin, Xiatian Zhu, Hongxun Yao
分类: cs.CV
发布日期: 2024-09-05
备注: 14 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
FrozenSeg：融合冻结的预训练模型，实现开放词汇分割
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放词汇分割 视觉-语言模型 零样本学习 Transformer解码器 空间信息融合
📋 核心要点
- 现有开放词汇分割方法难以针对未见过的类别生成精确的掩码建议，导致分割性能不佳。
- FrozenSeg通过融合定位模型（SAM）的空间知识和视觉-语言模型（CLIP）的语义知识，实现协同分割。
- 实验表明，FrozenSeg在多个分割基准上取得了领先成果，且仅在COCO全景数据上训练，以零样本方式测试。
📝 摘要（中文）
开放词汇分割面临着巨大的挑战，它需要在不受约束的环境中分割和识别开放类别集合中的对象。 借助强大的视觉-语言（ViL）基础模型（如CLIP）的成功，最近的研究试图利用它们的零样本能力来识别未见过的类别。 尽管性能有了显著提高，但这些模型仍然面临着为未见过的类别和场景生成精确的掩码建议的关键问题，最终导致分割性能下降。 为了应对这一挑战，我们引入了一种新颖的方法FrozenSeg，旨在将来自定位基础模型（例如SAM）的空间知识和从ViL模型（例如CLIP）提取的语义知识集成到一个协同框架中。 以ViL模型的视觉编码器作为特征骨干，我们将空间感知特征注入到Transformer解码器中可学习的查询和CLIP特征中。 此外，我们设计了一种掩码建议集成策略，以进一步提高召回率和掩码质量。 为了充分利用预训练知识，同时最大限度地减少训练开销，我们冻结了两个基础模型，将优化工作仅集中在用于掩码建议生成的轻量级Transformer解码器上——这是性能瓶颈。 大量实验表明，FrozenSeg在各种分割基准测试中都取得了最先进的结果，这些基准测试仅在COCO全景数据上进行训练，并以零样本方式进行测试。
🔬 方法详解
问题定义：论文旨在解决开放词汇分割任务中，现有方法难以对未见过的类别生成精确分割掩码的问题。现有方法依赖于视觉-语言模型的零样本能力，但在复杂场景下，掩码生成质量不高，成为性能瓶颈。
核心思路：论文的核心思路是将空间信息和语义信息进行有效融合。具体来说，利用定位模型（如SAM）提供空间先验，并结合视觉-语言模型（如CLIP）的语义理解能力，共同生成高质量的分割掩码。通过冻结预训练模型，只训练轻量级的解码器，降低计算成本。
技术框架：FrozenSeg的整体框架包含以下几个主要模块：1) 视觉编码器：使用预训练的视觉-语言模型的视觉编码器作为特征提取骨干网络。2) 空间特征注入：将来自定位模型的空间感知特征注入到Transformer解码器中。3) Transformer解码器：使用可学习的查询和CLIP特征，结合空间信息，生成掩码建议。4) 掩码建议集成：采用集成策略，融合多个掩码建议，提高召回率和掩码质量。
关键创新：论文的关键创新在于空间信息和语义信息的融合方式，以及冻结预训练模型的设计。通过将空间特征注入到Transformer解码器中，使得模型能够更好地利用空间先验知识。同时，冻结预训练模型，只训练轻量级的解码器，大大降低了计算成本，并充分利用了预训练模型的知识。
关键设计：论文的关键设计包括：1) 空间特征注入的具体方式，例如如何将SAM的输出特征与CLIP特征进行对齐和融合。2) Transformer解码器的结构设计，包括层数、隐藏层大小等参数设置。3) 掩码建议集成的策略，例如如何选择和融合不同的掩码建议。4) 损失函数的设计，用于优化Transformer解码器，使其能够生成高质量的分割掩码。
🖼️ 关键图片
📊 实验亮点
FrozenSeg在多个开放词汇分割基准测试中取得了最先进的结果。该模型仅在COCO全景数据集上进行训练，并以零样本方式在其他数据集上进行测试，展示了其强大的泛化能力。相较于之前的最佳方法，FrozenSeg在性能上取得了显著提升，证明了其有效性。
🎯 应用场景
FrozenSeg在机器人感知、自动驾驶、图像编辑等领域具有广泛的应用前景。它可以帮助机器人更好地理解周围环境，实现更精确的物体识别和分割，从而提高机器人的自主导航和操作能力。在自动驾驶领域，它可以用于识别交通标志、行人和其他车辆，提高驾驶安全性。在图像编辑领域，它可以用于精确地分割图像中的对象，方便用户进行编辑和修改。
📄 摘要（原文）
Open-vocabulary segmentation poses significant challenges, as it requires segmenting and recognizing objects across an open set of categories in unconstrained environments. Building on the success of powerful vision-language (ViL) foundation models, such as CLIP, recent efforts sought to harness their zero-short capabilities to recognize unseen categories. Despite notable performance improvements, these models still encounter the critical issue of generating precise mask proposals for unseen categories and scenarios, resulting in inferior segmentation performance eventually. To address this challenge, we introduce a novel approach, FrozenSeg, designed to integrate spatial knowledge from a localization foundation model (e.g., SAM) and semantic knowledge extracted from a ViL model (e.g., CLIP), in a synergistic framework. Taking the ViL model's visual encoder as the feature backbone, we inject the space-aware feature into the learnable queries and CLIP features within the transformer decoder. In addition, we devise a mask proposal ensemble strategy for further improving the recall rate and mask quality. To fully exploit pre-trained knowledge while minimizing training overhead, we freeze both foundation models, focusing optimization efforts solely on a lightweight transformer decoder for mask proposal generation-the performance bottleneck. Extensive experiments demonstrate that FrozenSeg advances state-of-the-art results across various segmentation benchmarks, trained exclusively on COCO panoptic data, and tested in a zero-shot manner. Code is available at https://github.com/chenxi52/FrozenSeg.