Rethinking the Global Knowledge of CLIP in Training-Free Open-Vocabulary Semantic Segmentation

📄 arXiv: 2502.06818 📥 PDF

作者: Jingyun Wang, Cilin Yan, Guoliang Kang

分类: cs.LG

发布日期: 2026-07-20

💡 一句话要点

提出GCLIP以解决CLIP在无训练开放词汇语义分割中的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 语义分割 CLIP 全局知识 深度学习 计算机视觉 特征聚合

📋 核心要点

  1. 现有的TF-OVSS方法在增强局部特征时，牺牲了CLIP的全局上下文聚合能力，导致性能下降。
  2. 本文提出GCLIP，通过重塑最后一层的注意力和价值嵌入，旨在有效提取CLIP的全局知识以提升TF-OVSS性能。
  3. 实验结果显示，GCLIP在五个标准基准上表现优异，超越了以往的最先进技术，验证了其有效性。

📝 摘要（中文）

近期研究通过修改CLIP实现无训练开放词汇语义分割（TF-OVSS）。然而，传统CLIP的图像块表示主要编码同质的图像级属性，限制了其在密集预测任务中的应用。以往的TF-OVSS方法牺牲了全局性以增强局部性，使得CLIP聚合全局上下文信息的能力大幅削弱。本文重新思考CLIP编码的全局知识，提出GCLIP，旨在提取和利用CLIP的有益全局知识。我们通过重塑最后一层的注意力和价值嵌入，聚合有用的全局上下文信息，从而提升TF-OVSS的性能。实验结果表明，GCLIP在五个标准基准上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决CLIP在无训练开放词汇语义分割中全局信息聚合不足的问题。现有方法过于关注局部特征，导致全局上下文信息的损失。

核心思路：论文提出GCLIP，通过重塑最后一层的注意力机制和价值嵌入，增强图像级属性的同时保留全局信息，以提升TF-OVSS的表现。

技术框架：GCLIP的整体架构包括两个主要模块：重塑的最后一层注意力和改进的价值嵌入。通过融合全局标记的注意力与查询-查询注意力，增强全局信息的聚合。

关键创新：GCLIP的核心创新在于通过重塑注意力机制，结合全局上下文与局部特征，克服了传统方法的局限性，实现了更有效的特征聚合。

关键设计：在设计中，注意力机制的参数设置经过优化，以确保不同图像块之间的注意力模式不均匀，同时，价值嵌入的语义相关性通过新颖的通道抑制技术得以增强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个标准基准上，GCLIP的性能均超过了现有最先进的方法，具体提升幅度达到X%（具体数据待补充），验证了其在无训练开放词汇语义分割任务中的有效性和优越性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在计算机视觉领域的语义分割任务中。GCLIP可以被应用于自动驾驶、医学影像分析和智能监控等场景，提升系统对复杂环境的理解能力。未来，随着技术的进一步发展，GCLIP有望在更多实际应用中发挥重要作用。

📄 摘要（原文）

Recent works modify CLIP to perform open-vocabulary semantic segmentation in a training-free manner (TF-OVSS). In vanilla CLIP, patch-wise image representations mainly encode homogeneous image-level properties, which hinders the application of CLIP to the dense prediction task. Previous TF-OVSS works sacrifice globality to enhance the locality of CLIP features, by making each patch mainly attend to itself or its neighboring patches within a narrow local window. With their modifications,the ability of CLIP to aggregate global context information is largely weakened. Differently, in this paper, we rethink the global knowledge encoded by CLIP and propose GCLIP to answer how to extract and utilize beneficial global knowledge of CLIP for TF-OVSS. As the representation of each patch is finally determined by the attention weights and the Value embeddings, we propose to reshape the last-block attention and Value embeddings to aggregate useful global context into final features. Firstly, we aim to equip the last-block attention with image-level properties while not introducing homogeneous attention patterns across patches. To realize the goal, we fuse the attention from the global-token emerging blocks with the Query-Query attention. Secondly, we aim to make Value embeddings of the last-block attention module more semantically correlated. To realize this, we design a novel channel suppressionthis http URLexperiments on five standard benchmarks demonstrate that our method consistently outperforms previous state-of-the-arts.