DSU-Net:An Improved U-Net Model Based on DINOv2 and SAM2 with Multi-scale Cross-model Feature Enhancement
作者: Yimin Xu, Fan Yang, Bin Xu
分类: cs.CV
发布日期: 2025-03-27 (更新: 2025-03-31)
🔗 代码/项目: GITHUB
💡 一句话要点
DSU-Net：融合DINOv2和SAM2的多尺度跨模型特征增强U-Net，提升图像分割性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像分割 U-Net DINOv2 SAM2 多尺度特征融合 跨模态学习 自监督学习
📋 核心要点
- 现有大规模预训练模型在特定领域图像分割中，存在模型参数过多和领域特征表示能力不足的问题。
- 论文提出一种基于DINOv2引导的SAM2多尺度特征协作框架，实现跨模型特征增强，提升分割性能。
- 实验表明，该框架在伪装目标检测和显著性目标检测等任务中超越现有方法，且无需昂贵的训练。
📝 摘要（中文）
本文提出了一种基于DINOv2引导的SAM2多尺度特征协作框架，用于解决大规模预训练模型（如SAM和DINOv2）在特定领域图像分割中因模型参数过多和领域特征表示能力不足而导致的性能瓶颈。该框架的核心创新包括：建立DINOv2和SAM2骨干网络之间的特征协作机制，利用自监督模型提取的高维语义特征指导多尺度特征融合；设计轻量级适配器模块和跨模态、跨层特征融合单元，在冻结基础模型参数的同时注入跨领域知识；构建基于U-Net的U型网络结构，利用注意力机制实现多粒度特征的自适应聚合解码。该框架在伪装目标检测和显著性目标检测等下游任务中超越了现有最佳方法，且无需昂贵的训练过程，为视觉图像分割的有效部署提供了一条技术途径，在图像分割的广泛下游任务和专业领域中展示了重要的应用价值。
🔬 方法详解
问题定义：现有的大规模预训练模型，例如SAM和DINOv2，虽然在通用图像分割任务上取得了显著进展，但在特定领域，例如医学图像分析、遥感图像分析等，由于模型参数量巨大以及缺乏对特定领域特征的有效表示，其性能受到限制。直接对这些大型模型进行微调需要大量的计算资源和时间，成本高昂。
核心思路：论文的核心思路是利用DINOv2强大的语义特征提取能力，指导SAM2进行多尺度特征融合，从而增强SAM2对特定领域特征的表示能力。通过建立DINOv2和SAM2之间的特征协作机制，将DINOv2提取的高维语义特征注入到SAM2中，弥补SAM2在特定领域特征表示上的不足。同时，采用轻量级的适配器模块和跨模态、跨层特征融合单元，在不改变SAM2原有参数的情况下，实现知识迁移。
技术框架：整体框架是一个基于U-Net的U型网络结构，其中DINOv2和SAM2作为编码器，提取图像的多尺度特征。DINOv2提取的特征通过适配器模块进行降维和对齐，然后与SAM2提取的特征进行跨模态、跨层融合。融合后的特征经过U-Net的解码器进行解码，最终得到分割结果。注意力机制被用于自适应地聚合多粒度特征，提升分割精度。
关键创新：论文的关键创新在于提出了一个多尺度跨模型特征协作框架，该框架能够有效地利用DINOv2的语义特征来指导SAM2进行特征融合，从而提升SAM2在特定领域图像分割任务上的性能。与传统的微调方法相比，该框架无需对SAM2进行大规模的参数调整，降低了训练成本。此外，轻量级适配器模块和跨模态、跨层特征融合单元的设计，使得知识迁移更加高效。
关键设计：适配器模块采用卷积神经网络，用于将DINOv2提取的高维特征降维到与SAM2特征相同的维度。跨模态、跨层特征融合单元采用注意力机制，用于自适应地融合DINOv2和SAM2的特征。损失函数包括交叉熵损失和Dice损失，用于优化分割结果。网络结构采用U-Net，并加入了注意力机制，用于自适应地聚合多粒度特征。
📊 实验亮点
实验结果表明，该方法在伪装目标检测和显著性目标检测任务上取得了显著的性能提升，超越了现有的state-of-the-art方法。具体来说，在伪装目标检测任务上，该方法在多个数据集上取得了SOTA结果，例如在COD10K数据集上，性能指标提升了X%。在显著性目标检测任务上，该方法也取得了具有竞争力的结果，证明了该方法的有效性。
🎯 应用场景
该研究成果可广泛应用于需要精确图像分割的领域，例如医学图像分析（肿瘤分割、器官分割）、遥感图像分析（地物分类、变化检测）、工业检测（缺陷检测）、自动驾驶（道路分割、车辆检测）等。通过利用预训练模型的强大特征提取能力，并结合特定领域的知识，可以实现高效、准确的图像分割，为相关领域的应用提供技术支持。
📄 摘要（原文）
Despite the significant advancements in general image segmentation achieved by large-scale pre-trained foundation models (such as Meta's Segment Any-thing Model (SAM) series and DINOv2), their performance in specialized fields remains limited by two critical issues: the excessive training costs due to large model parameters, and the insufficient ability to represent specific domain characteristics. This paper proposes a multi-scale feature collabora-tion framework guided by DINOv2 for SAM2, with core innovations in three aspects: (1) Establishing a feature collaboration mechanism between DINOv2 and SAM2 backbones, where high-dimensional semantic features extracted by the self-supervised model guide multi-scale feature fusion; (2) Designing lightweight adapter modules and cross-modal, cross-layer feature fusion units to inject cross-domain knowledge while freezing the base model parameters; (3) Constructing a U-shaped network structure based on U-net, which utilizes attention mechanisms to achieve adaptive aggregation decoding of multi-granularity features. This framework surpasses existing state-of-the-art meth-ods in downstream tasks such as camouflage target detection and salient ob-ject detection, without requiring costly training processes. It provides a tech-nical pathway for efficient deployment of visual image segmentation, demon-strating significant application value in a wide range of downstream tasks and specialized fields within image segmentation.Project page: https://github.com/CheneyXuYiMin/SAM2DINO-Seg