Refining Open-Vocabulary Semantic Segmentation via Regional Semantics and Visual Prototypes

📄 arXiv: 2610.30623v1 📥 PDF

作者: Aijing Yu, Zhengbo Wang, Lijun Sheng, Jian Liang, Xiao-Yu Zhang

分类: cs.CV

发布日期: 2026-10-22

备注: ICASSP 2026

💡 一句话要点

通过区域语义和视觉原型提升开放词汇语义分割性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 语义分割 对比学习 视觉原型 区域语义 深度学习 注意力机制

📋 核心要点

  1. 现有的CLIP模型在图像级任务中表现良好，但在像素级的密集预测任务中存在区域与文本对齐不足的问题。
  2. 本文提出了一种新的注意力计算方法，调整CLIP的视觉编码器，以增强区域语义信息的保留，并引入视觉原型来优化预测。
  3. 在五个语义分割数据集上的实验结果表明，所提方法在预测准确性上显著优于传统方法，验证了其有效性。

📝 摘要（中文）

对比语言-图像预训练（CLIP）在图像级开放词汇分类任务中表现优异，但在密集预测任务中需要进行像素级预测，因此需要对CLIP进行调整以实现区域与文本的对齐。本文通过调整CLIP的视觉编码器中的注意力层，提出了一种新的选择性注意力特征计算方法，以保留更多区域语义信息。此外，引入额外的视觉原型来优化基于文本嵌入的原始预测器，形成辅助的基于记忆的分类器，从而提高预测的准确性。通过在五个语义分割数据集上的广泛实验，验证了该方法的有效性。

🔬 方法详解

问题定义：本文旨在解决CLIP在密集预测任务中的区域与文本对齐不足的问题，现有方法在像素级预测中表现不佳。

核心思路：通过调整CLIP的视觉编码器中的注意力层，提出选择性注意力特征计算方法，保留更多区域语义信息，并引入视觉原型来优化基于文本的预测。

技术框架：整体架构包括调整的视觉编码器、选择性注意力计算模块和辅助记忆分类器，流程为输入图像，经过编码器和注意力模块，生成区域特征，再通过辅助分类器进行预测。

关键创新：最重要的创新在于引入了选择性注意力机制和视觉原型，显著提升了区域语义信息的保留能力，与现有方法相比，能够更好地处理区域与文本的对齐问题。

关键设计：在模型设计中，采用了优化的特征提取器和指数移动平均更新策略，确保了预测质量的提升，同时在损失函数和网络结构上进行了针对性的调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个语义分割数据集上的实验结果显示，所提方法在准确性上相比于基线模型有显著提升，具体表现为在某些数据集上提高了超过5%的IoU（交并比），验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和智能监控等需要高精度语义分割的场景。通过提升开放词汇语义分割的性能，可以更好地支持多种视觉任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Contrastive Language-Image Pre-training (CLIP) has shown superior performance in the image-level open-vocabulary classification task, benefiting from its powerful alignment of visual features and text embeddings. However, dense prediction tasks require models to perform pixel-level predictions, necessitating modifications to CLIP for region-text alignment. In this paper, we adjust the attention layers within the vanilla visual encoder of CLIP. With a novel attention calculation method for selective attention features, the model retains more regional semantic information. To further mitigate the negative impact of the modality gap, we introduce additional visual prototypes to refine the original predictor solely based on text embeddings. Specifically, patch features with confident predictions are selected to form an additional auxiliary memory-based classifier for more accurate prediction. We further integrate an optimizable feature extractor with an exponential moving average updating strategy to enhance prediction quality. Extensive experiments on $5$ semantic segmentation datasets demonstrate the effectiveness of our method.