ITACLIP: Boosting Training-Free Semantic Segmentation with Image, Text, and Architectural Enhancements

📄 arXiv: 2411.12044v2 📥 PDF

作者: M. Arda Aydın, Efe Mert Çırpar, Elvin Abdinli, Gozde Unal, Yusuf H. Sahin

分类: cs.CV

发布日期: 2024-11-18 (更新: 2025-04-14)

🔗 代码/项目: GITHUB

💡 一句话要点

ITACLIP：通过图像、文本和架构增强提升免训练语义分割性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇语义分割 视觉语言模型 CLIP 免训练学习 图像增强 大型语言模型 ViT 注意力机制

📋 核心要点

  1. 开放词汇语义分割任务中，现有VLM的密集预测能力不足，难以充分利用其语义理解能力。
  2. ITACLIP通过架构改进、图像增强和文本扩展，提升CLIP在语义分割任务中的性能。
  3. 实验表明，ITACLIP在多个数据集上超越了现有最佳方法，无需训练即可实现优异性能。

📝 摘要（中文）

近年来，基础视觉语言模型（VLM）的进步重塑了计算机视觉任务的评估范式。特别是CLIP等模型，加速了开放词汇语义分割（OVSS）等开放词汇计算机视觉任务的研究。尽管初步结果令人鼓舞，但VLM的密集预测能力仍有待提高。本研究通过引入新的模块和修改来增强CLIP的语义分割性能：1) ViT最后一层的架构更改，并将中间层的注意力图与最后一层结合；2) 图像工程：应用数据增强来丰富输入图像表示；3) 使用大型语言模型（LLM）为每个类别名称生成定义和同义词，以利用CLIP的开放词汇能力。我们的免训练方法ITACLIP在COCO-Stuff、COCO-Object、Pascal Context和Pascal VOC等分割基准测试中优于当前最先进的方法。代码已开源。

🔬 方法详解

问题定义：论文旨在提升开放词汇语义分割（OVSS）任务中，CLIP等视觉语言模型（VLM）的性能。现有方法在密集预测方面存在不足，无法充分利用VLM强大的语义理解能力，导致分割精度受限。

核心思路：论文的核心思路是通过多方面的增强来提升CLIP的语义分割能力。具体包括：改进ViT的架构以更好地提取图像特征，利用数据增强来丰富图像表示，以及使用大型语言模型（LLM）扩展类别名称的语义信息。通过这些增强，使CLIP能够更准确地进行像素级别的语义预测。

技术框架：ITACLIP的整体框架基于CLIP模型，主要包含以下几个模块：1) 图像编码器：使用改进的ViT架构，融合中间层注意力图；2) 图像增强模块：应用多种数据增强技术；3) 文本编码器：利用LLM生成类别名称的定义和同义词；4) 分割预测模块：将图像和文本编码器的输出进行匹配，生成像素级别的语义分割结果。整个流程无需训练，直接利用CLIP的预训练知识。

关键创新：论文的关键创新在于将图像、文本和架构增强相结合，以提升CLIP的语义分割性能。具体来说，融合ViT中间层注意力图能够更好地捕捉图像的局部和全局信息；利用LLM扩展类别名称的语义信息，能够更充分地利用CLIP的开放词汇能力；而图像增强则能够提高模型的鲁棒性。

关键设计：在ViT架构方面，论文修改了最后一层，并融合了中间层的注意力图。图像增强方面，采用了多种常用的数据增强技术，如随机裁剪、旋转、颜色抖动等。文本编码方面，使用LLM生成每个类别名称的定义和同义词，并将它们作为CLIP文本编码器的输入。分割预测方面，采用余弦相似度来衡量像素级别的图像特征和类别文本特征之间的匹配程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ITACLIP在COCO-Stuff、COCO-Object、Pascal Context和Pascal VOC等多个语义分割基准数据集上取得了显著的性能提升，超越了当前最先进的免训练方法。例如，在COCO-Stuff数据集上，ITACLIP取得了X%的mIoU提升（具体数值请参考原论文），证明了其有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、医学图像分析、遥感图像处理等领域，提升这些领域中语义分割任务的精度和效率。无需训练的特性使其在资源受限或数据稀缺的场景下具有重要价值。未来，该方法可以进一步扩展到其他视觉任务，例如目标检测和图像描述。

📄 摘要（原文）

Recent advances in foundational Vision Language Models (VLMs) have reshaped the evaluation paradigm in computer vision tasks. These foundational models, especially CLIP, have accelerated research in open-vocabulary computer vision tasks, including Open-Vocabulary Semantic Segmentation (OVSS). Although the initial results are promising, the dense prediction capabilities of VLMs still require further improvement. In this study, we enhance the semantic segmentation performance of CLIP by introducing new modules and modifications: 1) architectural changes in the last layer of ViT and the incorporation of attention maps from the middle layers with the last layer, 2) Image Engineering: applying data augmentations to enrich input image representations, and 3) using Large Language Models (LLMs) to generate definitions and synonyms for each class name to leverage CLIP's open-vocabulary capabilities. Our training-free method, ITACLIP, outperforms current state-of-the-art approaches on segmentation benchmarks such as COCO-Stuff, COCO-Object, Pascal Context, and Pascal VOC. Our code is available at https://github.com/m-arda-aydn/ITACLIP.