Direct Segmentation without Logits Optimization for Training-Free Open-Vocabulary Semantic Segmentation
作者: Jiahao Li, Yang Lu, Yachao Zhang, Fangyong Wang, Yuan Xie, Yanyun Qu
分类: cs.CV
发布日期: 2026-04-09
备注: Accepted by CVPR 2026
💡 一句话要点
提出一种免训练的直接分割方法，用于开放词汇语义分割，无需logits优化。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 开放词汇语义分割 免训练学习 直接分割 视觉语言对齐 分布差异
📋 核心要点
- 现有开放词汇语义分割方法依赖耗时的迭代训练或模型特定的注意力调制来优化logits，效率较低。
- 该论文提出直接利用分布差异的解析解作为语义图，避免了logits优化过程，无需训练。
- 实验结果表明，该方法在八个基准数据集上实现了最先进的性能，验证了其有效性。
📝 摘要（中文）
开放词汇语义分割(OVSS)旨在利用开放词汇提示分割图像中任意类别的区域，这要求现有方法具备像素级的视觉-语言对齐能力。通常，这种能力涉及计算视觉和语言特征之间的余弦相似度，即logits，并通过最小化logits与ground truth (GT)之间的分布差异来生成最佳logits，然后用于构建分割图，但这依赖于耗时的迭代训练或模型特定的注意力调制。本文提出了一种更直接的方法，通过直接推导分割图的解析解来避免logits优化过程。我们提出了一个关键假设：分布差异编码了语义信息；具体来说，这种差异在属于同一类别的patches中表现出一致性，但在不同类别之间表现出不一致性。基于此假设，我们直接利用这种分布差异的解析解作为语义图。换句话说，我们将分布差异的优化重新定义为推导其解析解，从而消除了耗时的迭代训练，摆脱了模型特定的注意力调制，并在八个基准数据集上实现了最先进的性能。
🔬 方法详解
问题定义：开放词汇语义分割旨在根据给定的文本提示，分割图像中任意类别的区域。现有方法通常通过计算视觉和语言特征的相似度（logits），并优化logits与真实标签的分布差异来实现分割。然而，这种优化过程需要耗时的迭代训练，或者依赖于特定模型的注意力机制，计算成本高昂，且泛化能力受限。
核心思路：该论文的核心思路是避免显式的logits优化过程，直接从视觉和语言特征的分布差异中推导出分割图。作者假设，属于同一类别的图像区域，其视觉和语言特征的分布差异具有一致性，而不同类别的区域则表现出不一致性。因此，可以直接利用这种分布差异的解析解作为语义分割图，从而绕过复杂的优化过程。
技术框架：该方法主要包含以下几个步骤：1) 提取图像的视觉特征和文本提示的语言特征；2) 计算视觉和语言特征之间的分布差异；3) 推导分布差异的解析解；4) 将解析解作为语义分割图，直接进行分割。整个流程无需迭代训练，也无需依赖特定的模型结构。
关键创新：该方法最重要的创新点在于提出了一个免训练的直接分割框架，通过直接利用分布差异的解析解来生成语义分割图，避免了传统方法中耗时的logits优化过程。这种方法不仅提高了效率，还摆脱了对特定模型结构的依赖，具有更好的泛化能力。
关键设计：论文的关键设计在于如何有效地计算和利用视觉和语言特征的分布差异。具体的技术细节包括：如何定义和计算分布差异，如何推导分布差异的解析解，以及如何将解析解转化为最终的语义分割图。论文可能采用了特定的数学模型或算法来解决这些问题，但具体细节需要参考原文。
🖼️ 关键图片
📊 实验亮点
该方法在八个基准数据集上取得了state-of-the-art的性能，证明了其有效性。通过避免耗时的迭代训练和模型特定的注意力调制，该方法显著提高了开放词汇语义分割的效率，并具有良好的泛化能力。具体的性能提升数据需要在论文中查找。
🎯 应用场景
该研究成果可应用于智能图像编辑、自动驾驶、机器人视觉等领域。例如，在自动驾驶中，可以利用该方法快速准确地分割道路、车辆、行人等目标，提高驾驶安全性。在机器人视觉中，可以帮助机器人理解场景，实现更智能的交互。
📄 摘要（原文）
Open-vocabulary semantic segmentation (OVSS) aims to segment arbitrary category regions in images using open-vocabulary prompts, necessitating that existing methods possess pixel-level vision-language alignment capability. Typically, this capability involves computing the cosine similarity, \ie, logits, between visual and linguistic features, and minimizing the distribution discrepancy between the logits and the ground truth (GT) to generate optimal logits that are subsequently used to construct segmentation maps, yet it depends on time-consuming iterative training or model-specific attention modulation. In this work, we propose a more direct approach that eschews the logits-optimization process by directly deriving an analytic solution for the segmentation map. We posit a key hypothesis: the distribution discrepancy encodes semantic information; specifically, this discrepancy exhibits consistency across patches belonging to the same category but inconsistency across different categories. Based on this hypothesis, we directly utilize the analytic solution of this distribution discrepancy as the semantic maps. In other words, we reformulate the optimization of the distribution discrepancy as deriving its analytic solution, thereby eliminating time-consuming iterative training, freeing us from model-specific attention modulation, and achieving state-of-the-art performance on eight benchmark datasets.