Test-time Contrastive Concepts for Open-world Semantic Segmentation with Vision-Language Models
作者: Monika Wysoczańska, Antonin Vobecky, Amaia Cardiel, Tomasz Trzciński, Renaud Marlet, Andrei Bursuc, Oriane Siméoni
分类: cs.CV
发布日期: 2024-07-06 (更新: 2025-06-16)
备注: TMLR camera-ready
💡 一句话要点
提出测试时对比概念方法，解决视觉-语言模型在开放世界语义分割中单概念分割难题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放世界语义分割 视觉-语言模型 对比学习 测试时自适应 单概念分割
📋 核心要点
- 现有开放词汇语义分割方法依赖于预定义的、详尽的概念列表，限制了其在实际场景中的应用。
- 本文提出在测试时自动生成与目标概念形成对比的文本概念，从而实现仅基于单个文本提示的分割。
- 实验结果表明，该方法在常用数据集上能够有效地分割单个概念，验证了其在开放世界语义分割中的潜力。
📝 摘要（中文）
本文提出了一种基于视觉-语言模型（VLM）的开放词汇语义分割方法，旨在解决单概念分割这一更具挑战性的场景。现有的方法通常依赖于详尽的、领域相关的概念列表进行对比分割，而本文着重于仅给定一个文本提示的情况下分割单个概念。为了实现这一目标，除了通用的“背景”文本外，本文提出了两种不同的方法来在测试时自动生成特定于查询的文本对比概念，利用VLM训练集中的文本分布或精心设计的LLM提示。此外，本文还提出了一种评估该场景的指标，并在常用数据集上验证了该方法的有效性。
🔬 方法详解
问题定义：论文旨在解决开放世界语义分割中，仅给定单个文本提示的情况下，如何准确分割图像中对应概念的问题。现有方法在评估时通常依赖于预先定义的、详尽的概念列表（例如，数据集的类别），这在实际应用中是不现实的，因为用户通常只关心图像中的特定对象或区域。因此，如何有效地利用视觉-语言模型（VLM）的先验知识，在缺乏明确对比概念的情况下进行分割，是本文要解决的核心问题。
核心思路：论文的核心思路是在测试时，针对给定的文本提示，自动生成与之形成对比的文本概念。通过引入这些对比概念，可以更准确地确定图像中哪些像素属于目标概念，哪些属于其他概念。这种方法避免了对预定义概念列表的依赖，使其更适用于开放世界的场景。
技术框架：该方法主要包含以下几个步骤：1) 输入图像和目标概念的文本提示；2) 利用VLM提取图像像素和文本提示的特征；3) 自动生成与目标概念形成对比的文本概念（通过两种方式：利用VLM训练集中的文本分布或使用LLM提示）；4) 计算图像像素与目标概念以及对比概念之间的相似度；5) 基于相似度进行像素级别的分类，得到分割结果。
关键创新：该方法最重要的创新点在于提出了在测试时自动生成对比概念的机制。与现有方法相比，它不再依赖于预定义的、静态的概念列表，而是能够根据用户的具体需求，动态地生成与之相关的对比概念。这种动态生成对比概念的方式，使得该方法能够更好地适应开放世界的场景，并提高分割的准确性。
关键设计：论文提出了两种生成对比概念的具体方法：1) 基于VLM训练集文本分布的方法：利用VLM训练集中与目标概念相关的文本片段，提取其中的关键信息，生成对比概念；2) 基于LLM提示的方法：设计特定的LLM提示，引导LLM生成与目标概念形成对比的文本描述。此外，论文还提出了一种新的评估指标，用于评估在单概念分割场景下的性能。
🖼️ 关键图片
📊 实验亮点
论文提出的方法在常用的语义分割数据集上进行了实验验证，结果表明，通过自动生成对比概念，可以显著提高单概念分割的准确性。具体来说，与仅使用“背景”文本作为对比的方法相比，该方法在多个数据集上取得了显著的性能提升，证明了其有效性。
🎯 应用场景
该研究成果可应用于智能图像编辑、自动驾驶、机器人导航、医学图像分析等领域。例如，在智能图像编辑中，用户可以通过简单的文本描述来选择和修改图像中的特定对象；在自动驾驶中，可以利用该方法识别和分割道路上的各种交通参与者，提高驾驶安全性。
📄 摘要（原文）
Recent CLIP-like Vision-Language Models (VLMs), pre-trained on large amounts of image-text pairs to align both modalities with a simple contrastive objective, have paved the way to open-vocabulary semantic segmentation. Given an arbitrary set of textual queries, image pixels are assigned the closest query in feature space. However, this works well when a user exhaustively lists all possible visual concepts in an image that contrast against each other for the assignment. This corresponds to the current evaluation setup in the literature, which relies on having access to a list of in-domain relevant concepts, typically classes of a benchmark dataset. Here, we consider the more challenging (and realistic) scenario of segmenting a single concept, given a textual prompt and nothing else. To achieve good results, besides contrasting with the generic 'background' text, we propose two different approaches to automatically generate, at test time, query-specific textual contrastive concepts. We do so by leveraging the distribution of text in the VLM's training set or crafted LLM prompts. We also propose a metric designed to evaluate this scenario and show the relevance of our approach on commonly used datasets.