Multi-scale Contrastive Adaptor Learning for Segmenting Anything in Underperformed Scenes

📄 arXiv: 2408.05936v1 📥 PDF

作者: Ke Zhou, Zhongwei Qiu, Dongmei Fu

分类: cs.CV

发布日期: 2024-08-12

💡 一句话要点

提出多尺度对比自适应学习MCA-SAM，提升SAM在欠佳场景下的分割性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 自适应学习 分割模型 小样本学习 多尺度特征 预训练模型 SAM 图像分割

📋 核心要点

  1. 现有方法微调大型分割模型成本高，且自适应器学习方法存在次优问题，限制了模型在特定任务上的表现。
  2. MCA-SAM通过token级和样本级对比学习，增强局部表示和全局理解，提升自适应器性能，从而提高模型分割能力。
  3. 实验表明，MCA-SAM在多个数据集上显著优于现有方法，例如在COD10K数据集上MAE指标提升了20.0%。

📝 摘要（中文）

本文提出了一种新颖的多尺度对比自适应学习方法MCA-SAM，旨在提升预训练的分割模型（如SAM）在数据受限的专业任务中的性能。MCA-SAM通过精心设计的对比学习框架，在token和样本层面增强自适应器的性能。Token级对比自适应器(TC-adaptor)通过提高patch tokens的可区分性来优化局部表示，而样本级对比自适应器(SC-adaptor)则增强了跨不同样本的全局理解。这些自适应器协同工作，增强了模型在样本内和样本间的特征比较能力，从而提高了模型的表示能力和适应新任务的能力。实验结果表明，MCA-SAM在伪装目标检测、阴影分割和息肉分割三个具有挑战性的领域中，均超越了现有方法，取得了显著的性能提升。

🔬 方法详解

问题定义：论文旨在解决预训练的分割模型（如SAM）在特定领域数据不足的情况下，难以有效适应下游任务的问题。现有方法通常采用添加自适应器的方式，但自适应器的学习策略不够优化，导致模型性能受限。

核心思路：论文的核心思路是通过多尺度对比学习来优化自适应器的学习过程。具体来说，分别在token级别和样本级别进行对比学习，以增强模型对局部特征和全局信息的理解和区分能力。通过这种方式，可以提升自适应器提取关键特征的能力，从而提高模型在特定任务上的分割性能。

技术框架：MCA-SAM包含两个主要的自适应器模块：Token-level Contrastive adaptor (TC-adaptor) 和 Sample-level Contrastive adaptor (SC-adaptor)。TC-adaptor专注于patch tokens的局部表示，通过对比学习提高tokens之间的可区分性。SC-adaptor则关注不同样本之间的全局信息，通过对比学习增强模型对不同样本的理解。这两个自适应器协同工作，共同提升模型的表示能力。

关键创新：MCA-SAM的关键创新在于其多尺度对比学习框架，它同时考虑了token级别和样本级别的特征表示。与传统的自适应方法相比，MCA-SAM能够更有效地利用有限的数据，学习到更具区分性的特征表示，从而提高模型在特定任务上的泛化能力。

关键设计：TC-adaptor和SC-adaptor的具体网络结构未知，但对比学习损失函数是关键。TC-adaptor可能采用InfoNCE loss等方法，鼓励相似tokens的表示更接近，不相似tokens的表示更远离。SC-adaptor也可能采用类似的对比学习损失函数，以区分不同样本的全局特征表示。具体的参数设置和网络结构细节在论文中可能有所描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MCA-SAM在三个具有挑战性的分割任务上取得了显著的性能提升。在伪装目标检测方面，COD10K数据集上MAE指标提升了20.0%，CAMO数据集上MAE指标提升了6.0%。在阴影分割方面，ISTD数据集上BER指标提升了15.4%。在息肉分割方面，Kvasir-SEG数据集上mDice指标提升了7.9%。这些结果表明MCA-SAM在欠佳场景下的分割能力显著优于现有方法。

🎯 应用场景

MCA-SAM具有广泛的应用前景，例如医学图像分析（息肉分割）、遥感图像处理（阴影检测）、自动驾驶（伪装目标检测）等领域。该方法能够有效提升模型在数据受限场景下的分割性能，降低对大量标注数据的依赖，具有重要的实际应用价值和潜在的商业价值。

📄 摘要（原文）

Foundational vision models, such as the Segment Anything Model (SAM), have achieved significant breakthroughs through extensive pre-training on large-scale visual datasets. Despite their general success, these models may fall short in specialized tasks with limited data, and fine-tuning such large-scale models is often not feasible. Current strategies involve incorporating adaptors into the pre-trained SAM to facilitate downstream task performance with minimal model adjustment. However, these strategies can be hampered by suboptimal learning approaches for the adaptors. In this paper, we introduce a novel Multi-scale Contrastive Adaptor learning method named MCA-SAM, which enhances adaptor performance through a meticulously designed contrastive learning framework at both token and sample levels. Our Token-level Contrastive adaptor (TC-adaptor) focuses on refining local representations by improving the discriminability of patch tokens, while the Sample-level Contrastive adaptor (SC-adaptor) amplifies global understanding across different samples. Together, these adaptors synergistically enhance feature comparison within and across samples, bolstering the model's representational strength and its ability to adapt to new tasks. Empirical results demonstrate that MCA-SAM sets new benchmarks, outperforming existing methods in three challenging domains: camouflage object detection, shadow segmentation, and polyp segmentation. Specifically, MCA-SAM exhibits substantial relative performance enhancements, achieving a 20.0% improvement in MAE on the COD10K dataset, a 6.0% improvement in MAE on the CAMO dataset, a 15.4% improvement in BER on the ISTD dataset, and a 7.9% improvement in mDice on the Kvasir-SEG dataset.