A Training-Free Framework for Open-Vocabulary Image Segmentation and Recognition with EfficientNet and CLIP

📄 arXiv: 2510.19333v2 📥 PDF

作者: Ying Dai, Wei Yu Chen

分类: cs.CV

发布日期: 2025-10-22 (更新: 2025-10-27)

💡 一句话要点

提出一种基于EfficientNet和CLIP的无训练开放词汇图像分割与识别框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 无监督学习 视觉语言模型 CLIP EfficientNet

📋 核心要点

  1. 现有开放词汇图像分割方法通常依赖大量标注数据进行训练，成本高昂且泛化性受限。
  2. 该论文提出一种无训练框架，利用EfficientNet进行无监督分割，CLIP进行开放词汇识别，实现高效的视觉-语言对齐。
  3. 实验表明，该方法在COCO、ADE20K和PASCAL VOC等数据集上取得了领先的分割和识别性能。

📝 摘要（中文）

本文提出了一种新颖的无训练开放词汇图像分割与对象识别（OVSR）框架，该框架利用卷积神经网络EfficientNetB0进行无监督分割，并利用视觉-语言模型CLIP进行开放词汇对象识别。该框架采用两阶段流程：首先进行无监督图像分割，然后通过视觉-语言对齐进行分割级别的识别。在第一阶段，从EfficientNetB0提取的像素级特征通过奇异值分解进行分解，以获得潜在表示，然后使用层次聚类对这些表示进行聚类，以分割语义上有意义的区域。聚类数量由奇异值的分布自适应地确定。在第二阶段，分割后的区域被定位，并使用CLIP的Vision Transformer主干编码为图像嵌入。文本嵌入使用CLIP的文本编码器从类别特定的提示中预先计算，包括一个通用的“其他”提示，以支持开放集识别。图像和文本嵌入被连接并通过SVD投影到共享的潜在特征空间中，以增强跨模态对齐。通过计算投影的图像和文本嵌入之间的相似度上的softmax来进行识别。该方法在标准基准（包括COCO、ADE20K和PASCAL VOC）上进行了评估，在Hungarian mIoU、精确率、召回率和F1分数方面取得了最先进的性能。这些结果证明了该框架的有效性、灵活性和通用性。

🔬 方法详解

问题定义：论文旨在解决开放词汇图像分割与识别问题，即在没有特定类别训练数据的情况下，对图像进行分割并识别其中包含的物体。现有方法通常需要大量标注数据进行训练，这限制了它们在实际应用中的可扩展性和泛化能力。

核心思路：论文的核心思路是利用预训练的视觉模型（EfficientNet和CLIP）的强大特征提取能力，结合无监督分割和视觉-语言对齐技术，实现无需训练的开放词汇图像分割与识别。通过将图像分割成语义相关的区域，并利用CLIP将这些区域与文本描述进行匹配，从而实现对图像内容的理解。

技术框架：该框架包含两个主要阶段：1) 无监督图像分割：使用EfficientNetB0提取图像的像素级特征，然后通过奇异值分解（SVD）降维，并使用层次聚类对像素进行分组，形成语义相关的区域。聚类数量自适应地根据奇异值的分布确定。2) 分割区域识别：将分割后的区域输入CLIP的Vision Transformer编码器，得到图像嵌入。同时，使用CLIP的文本编码器，根据类别特定的提示（包括“其他”类别）生成文本嵌入。然后，将图像和文本嵌入连接，并通过SVD投影到共享的潜在空间，以增强跨模态对齐。最后，通过计算图像和文本嵌入之间的相似度，并使用softmax函数进行分类。

关键创新：该方法的主要创新在于提出了一个完全无训练的开放词汇图像分割与识别框架。它避免了对大量标注数据的依赖，并利用预训练模型的强大能力，实现了高效且泛化的图像理解。此外，使用SVD进行特征降维和跨模态对齐，进一步提升了模型的性能。

关键设计：在无监督分割阶段，使用奇异值分解（SVD）来降低EfficientNet提取的特征维度，并利用奇异值的分布自适应地确定聚类的数量。在识别阶段，使用CLIP的Vision Transformer和文本编码器提取图像和文本嵌入，并通过SVD将它们投影到共享的潜在空间。使用类别特定的提示（包括“其他”类别）来支持开放集识别。相似度计算使用余弦相似度，并通过softmax函数进行归一化。

📊 实验亮点

该方法在COCO、ADE20K和PASCAL VOC等标准数据集上取得了state-of-the-art的性能。例如，在ADE20K数据集上，该方法在Hungarian mIoU指标上取得了显著的提升，证明了其在开放词汇图像分割与识别方面的有效性和优越性。相较于其他无训练方法，该方法在精度和效率上都具有优势。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、图像搜索、机器人导航等领域。例如，在智能监控中，该方法可以自动识别监控画面中的异常事件和目标；在自动驾驶中，可以帮助车辆理解周围环境，识别交通标志和行人；在图像搜索中，可以根据用户的文本描述，快速找到相关的图像。

📄 摘要（原文）

This paper presents a novel training-free framework for open-vocabulary image segmentation and object recognition (OVSR), which leverages EfficientNetB0, a convolutional neural network, for unsupervised segmentation and CLIP, a vision-language model, for open-vocabulary object recognition. The proposed framework adopts a two stage pipeline: unsupervised image segmentation followed by segment-level recognition via vision-language alignment. In the first stage, pixel-wise features extracted from EfficientNetB0 are decomposed using singular value decomposition to obtain latent representations, which are then clustered using hierarchical clustering to segment semantically meaningful regions. The number of clusters is adaptively determined by the distribution of singular values. In the second stage, the segmented regions are localized and encoded into image embeddings using the Vision Transformer backbone of CLIP. Text embeddings are precomputed using CLIP's text encoder from category-specific prompts, including a generic something else prompt to support open set recognition. The image and text embeddings are concatenated and projected into a shared latent feature space via SVD to enhance cross-modal alignment. Recognition is performed by computing the softmax over the similarities between the projected image and text embeddings. The proposed method is evaluated on standard benchmarks, including COCO, ADE20K, and PASCAL VOC, achieving state-of-the-art performance in terms of Hungarian mIoU, precision, recall, and F1-score. These results demonstrate the effectiveness, flexibility, and generalizability of the proposed framework.