Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?

📄 arXiv: 2602.23339 📥 PDF

作者: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

分类: cs.CV

发布日期: 2026-02-28

💡 一句话要点

提出检索增强的测试时适配器，以少量样本弥合开放词汇分割的监督差距。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 少量样本学习 视觉-语言模型 测试时适配 检索增强

📋 核心要点

  1. 开放词汇分割面临图像级监督粗糙和自然语言语义模糊的挑战，导致性能落后于完全监督方法。
  2. 提出检索增强的测试时适配器，通过融合文本和视觉支持特征，学习轻量级的图像分类器。
  3. 实验表明，该方法在少量样本下显著缩小了零样本和监督分割之间的差距，同时保持了开放词汇能力。

📝 摘要（中文）

开放词汇分割(OVS)将视觉-语言模型(VLM)的零样本识别能力扩展到像素级预测，从而能够分割由文本提示指定的任意类别。尽管最近取得了进展，但由于用于训练VLM的粗糙图像级监督和自然语言的语义模糊性，OVS仍然落后于完全监督的方法。我们通过引入少量样本设置来解决这些限制，该设置使用像素注释图像的支持集来增强文本提示。在此基础上，我们提出了一种检索增强的测试时适配器，通过融合文本和视觉支持特征来学习轻量级的、每个图像的分类器。与依赖于后期手工融合的先前方法不同，我们的方法执行学习到的、每个查询的融合，从而实现模态之间更强的协同作用。该方法支持不断扩展的支持集，并适用于个性化分割等细粒度任务。实验表明，我们在保持开放词汇能力的同时，显著缩小了零样本和监督分割之间的差距。

🔬 方法详解

问题定义：开放词汇分割(OVS)旨在利用文本提示分割图像中任意类别的像素。现有方法受限于视觉-语言模型(VLM)训练时使用的图像级粗糙监督，以及自然语言本身存在的语义模糊性，导致分割精度不高，尤其是在细粒度分割任务中表现较差。

核心思路：该论文的核心思路是利用少量带像素级标注的图像（支持集）来弥补监督信息的不足。通过检索与待分割图像相关的支持图像，并结合文本提示，学习一个轻量级的测试时适配器，从而实现更精确的像素级分割。这种方法的核心在于如何有效地融合文本和视觉信息，并利用少量样本进行快速适应。

技术框架：整体框架包含以下几个主要步骤：1) 支持集检索：根据文本提示和待分割图像的视觉特征，从支持集中检索相关的图像。2) 特征提取：利用预训练的视觉-语言模型提取文本提示和支持图像的视觉特征。3) 特征融合：设计一个可学习的融合模块，将文本特征和视觉特征进行融合，生成每个像素的分类器权重。4) 像素分类：利用学习到的分类器权重，对待分割图像的每个像素进行分类，得到分割结果。

关键创新：该论文的关键创新在于提出了检索增强的测试时适配器，并采用了一种学习到的、每个查询的融合机制。与以往方法中手工设计的融合方式不同，该方法能够根据不同的查询（文本提示和待分割图像）自适应地调整融合权重，从而实现更强的模态协同。此外，该方法支持不断扩展的支持集，能够适应不同的分割任务和场景。

关键设计：在特征融合阶段，论文设计了一个可学习的融合模块，该模块接收文本特征和视觉特征作为输入，并输出每个像素的分类器权重。具体来说，该模块可以是一个简单的多层感知机(MLP)或者更复杂的注意力机制。损失函数方面，可以使用交叉熵损失函数来训练适配器，目标是最小化预测分割结果与真实分割结果之间的差异。此外，还可以使用正则化项来防止过拟合，提高模型的泛化能力。

📊 实验亮点

实验结果表明，该方法在少量样本设置下，显著缩小了零样本分割和完全监督分割之间的性能差距。例如，在某个数据集上，该方法仅使用几个支持样本，就能够达到接近完全监督方法的分割精度。此外，该方法在个性化分割等细粒度任务上也表现出良好的性能，证明了其泛化能力和实用性。

🎯 应用场景

该研究成果可应用于多个领域，如自动驾驶中的场景理解、医学图像分析中的病灶分割、遥感图像分析中的地物分类等。尤其在需要对特定目标进行精细分割，但缺乏大量标注数据的场景下，该方法具有很高的应用价值。未来可进一步扩展到视频分割、3D场景分割等任务。

📄 摘要（原文）

Open-vocabulary segmentation (OVS) extends the zero-shot recognition capabilities of vision-language models (VLMs) to pixel-level prediction, enabling segmentation of arbitrary categories specified by text prompts. Despite recent progress, OVS lags behind fully supervised approaches due to two challenges: the coarse image-level supervision used to train VLMs and the semantic ambiguity of natural language. We address these limitations by introducing a few-shot setting that augments textual prompts with a support set of pixel-annotated images. Building on this, we propose a retrieval-augmented test-time adapter that learns a lightweight, per-image classifier by fusing textual and visual support features. Unlike prior methods relying on late, hand-crafted fusion, our approach performs learned, per-query fusion, achieving stronger synergy between modalities. The method supports continually expanding support sets, and applies to fine-grained tasks such as personalized segmentation. Experiments show that we significantly narrow the gap between zero-shot and supervised segmentation while preserving open-vocabulary ability.