SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding
作者: Haoxiang Wang, Pavan Kumar Anasosalu Vasu, Fartash Faghri, Raviteja Vemulapalli, Mehrdad Farajtabar, Sachin Mehta, Mohammad Rastegari, Oncel Tuzel, Hadi Pouransari
分类: cs.CV, cs.LG
发布日期: 2023-10-23 (更新: 2024-06-10)
💡 一句话要点
提出SAM-CLIP以融合视觉基础模型解决语义与空间理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉基础模型 多任务学习 持续学习 模型蒸馏 零-shot学习 语义分割 边缘计算
📋 核心要点
- 现有的视觉基础模型在语义和空间理解上各有优势，但独立使用时存在存储和计算成本高的问题。
- 本文提出了一种将CLIP和SAM合并为SAM-CLIP的简单方法，利用多任务学习和蒸馏技术来整合其能力。
- 实验结果表明，SAM-CLIP在多个基准上实现了新的最优性能，尤其在Pascal-VOC和COCO-Stuff数据集上分别提升了6.8%和5.9%的平均IoU。
📝 摘要（中文）
随着公开可用的视觉基础模型（VFM）如CLIP和Segment Anything Model（SAM）迅速发展，这些模型在预训练目标上各具特色。CLIP在语义理解方面表现优异，而SAM则专注于分割的空间理解。本文提出了一种简单的方法，将这些VFM有效合并为一个统一模型，吸收其专业知识。该方法结合了多任务学习、持续学习和蒸馏技术，显著降低了计算成本，并仅需少量的预训练数据。通过将该方法应用于SAM和CLIP，得到了SAM-CLIP模型，能够在边缘设备上高效运行，并在零-shot语义分割任务中在5个基准上取得了新的最优结果。
🔬 方法详解
问题定义：本文旨在解决现有视觉基础模型在语义和空间理解上的独立使用所带来的高存储和计算成本问题。传统的多任务训练方法需要大量的计算资源和数据，限制了其在边缘设备上的应用。
核心思路：论文提出了一种将CLIP和SAM合并为一个统一模型SAM-CLIP的方法，利用多任务学习、持续学习和蒸馏技术来高效整合两者的优势，从而减少计算需求和数据依赖。
技术框架：SAM-CLIP的整体架构包括三个主要模块：1) 多任务学习模块，整合CLIP的语义理解和SAM的空间理解；2) 持续学习模块，确保模型在学习新任务时不会遗忘旧任务；3) 蒸馏模块，用于知识转移，提升模型的推理能力。
关键创新：最重要的技术创新在于通过高效的模型合并策略，显著降低了计算成本，同时保留了各个模型的基础优势，形成了新的协同功能，尤其在零-shot语义分割任务中表现突出。
关键设计：在模型设计中，采用了轻量级的网络结构，优化了损失函数以平衡不同任务的学习，同时设置了适当的超参数以确保模型的稳定性和性能。
🖼️ 关键图片
📊 实验亮点
在实验中，SAM-CLIP在零-shot语义分割任务上取得了显著的性能提升，尤其在Pascal-VOC和COCO-Stuff数据集上，分别提升了6.8%和5.9%的平均IoU，超越了专为此任务设计的其他模型，展示了其优越性。
🎯 应用场景
SAM-CLIP模型在边缘设备上的应用潜力巨大，适用于实时图像处理、自动驾驶、智能监控等领域。其高效的计算性能和优越的分割能力使其能够在资源受限的环境中实现复杂的视觉任务，推动智能设备的普及和应用。
📄 摘要（原文）
The landscape of publicly available vision foundation models (VFMs), such as CLIP and Segment Anything Model (SAM), is expanding rapidly. VFMs are endowed with distinct capabilities stemming from their pre-training objectives. For instance, CLIP excels in semantic understanding, while SAM specializes in spatial understanding for segmentation. In this work, we introduce a simple recipe to efficiently merge VFMs into a unified model that absorbs their expertise. Our method integrates techniques of multi-task learning, continual learning, and distillation. Further, it demands significantly less computational cost compared to traditional multi-task training from scratch, and it only needs a small fraction of the pre-training datasets that were initially used to train individual models. By applying our method to SAM and CLIP, we obtain SAM-CLIP: a unified model that combines the capabilities of SAM and CLIP into a single vision transformer. Compared with deploying SAM and CLIP independently, our merged model, SAM-CLIP, reduces storage and compute costs for inference, making it well-suited for edge device applications. We show that SAM-CLIP not only retains the foundational strengths of SAM and CLIP, but also introduces synergistic functionalities, notably in zero-shot semantic segmentation, where SAM-CLIP establishes new state-of-the-art results on 5 benchmarks. It outperforms previous models that are specifically designed for this task by a large margin, including +6.8% and +5.9% mean IoU improvement on Pascal-VOC and COCO-Stuff datasets, respectively.