Evaluating Vision Foundation Models for Pixel and Object Classification in Microscopy

📄 arXiv: 2603.19802v1 📥 PDF

作者: Carolin Teuber, Anwai Archit, Tobias Boothe, Peter Ditte, Jochen Rink, Constantin Pape

分类: cs.CV

发布日期: 2026-03-20

💡 一句话要点

评估视觉基础模型在显微镜像素和对象分类中的应用潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 显微镜图像分析 像素分类 对象分类 迁移学习 生物医学图像 深度学习

📋 核心要点

  1. 生物医学图像分析中，交互式像素和对象分类任务仍依赖浅层学习，缺乏深度学习的有效应用。
  2. 论文探索了视觉基础模型（VFMs）在显微镜图像像素和对象分类中的潜力，旨在提升现有方法。
  3. 实验结果表明，VFMs结合浅层学习在多个数据集上优于手工特征，为实际应用提供了可行方案。

📝 摘要（中文）

深度学习是现代计算机视觉方法和工具的基础，包括生物医学成像。然而，对于交互式语义分割（通常称为像素分类）和交互式对象级分类（对象分类），基于特征的浅层学习仍然被广泛使用。这是由于该领域数据的多样性、缺乏大型预训练数据集以及对计算和标签效率的需求。相比之下，显微镜中许多其他视觉任务（最显著的是细胞实例分割）的先进工具已经依赖于深度学习，并且最近受益于视觉基础模型（VFMs），特别是SAM。本文研究了VFMs是否也能改进像素和对象分类。为此，我们在五个多样且具有挑战性的数据集上，结合浅层学习和注意力探测，评估了多个VFMs，包括通用模型（SAM、SAM2、DINOv3）和领域特定模型（μSAM、PathoSAM）。结果表明，与手工设计的特征相比，性能得到了持续改进，并为实际改进提供了明确的途径。此外，我们的研究为显微镜中的VFMs建立了一个基准，并为该领域的未来发展提供了信息。

🔬 方法详解

问题定义：论文旨在解决显微镜图像分析中，交互式像素和对象分类任务对深度学习方法应用不足的问题。现有方法依赖手工特征和浅层学习，泛化能力弱，难以适应生物医学图像的多样性。缺乏大规模预训练数据和对计算效率的要求限制了深度学习模型的应用。

核心思路：论文的核心思路是利用视觉基础模型（VFMs）强大的特征提取能力，结合浅层学习方法，实现高效且准确的像素和对象分类。通过迁移学习，将VFMs在通用图像或特定领域图像上学习到的知识迁移到显微镜图像分析任务中，克服数据量不足的挑战。

技术框架：整体框架包括三个主要步骤：1) 使用不同的VFMs（如SAM, DINOv3, μSAM, PathoSAM）提取显微镜图像的特征；2) 将提取的特征输入到浅层分类器（如线性分类器或支持向量机）进行训练；3) 使用注意力探测（attentive probing）方法进一步优化特征表示，提高分类性能。该框架旨在充分利用VFMs的预训练知识，同时保持计算效率。

关键创新：论文的关键创新在于探索了通用和领域特定的视觉基础模型在显微镜图像像素和对象分类中的适用性。通过对比不同VFMs的性能，为该领域选择合适的预训练模型提供了依据。此外，结合浅层学习和注意力探测，在保证计算效率的同时，提高了分类精度。

关键设计：论文的关键设计包括：1) 选择了多种VFMs进行对比，包括通用模型（SAM, SAM2, DINOv3）和领域特定模型（μSAM, PathoSAM），以评估不同模型的迁移学习能力；2) 使用浅层分类器，如线性分类器和支持向量机，以保证计算效率；3) 采用注意力探测方法，通过学习注意力权重，突出图像中与分类任务相关的区域，从而提高分类性能。具体参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉基础模型（VFMs）结合浅层学习在五个不同的显微镜图像数据集上，均优于传统的手工特征方法。具体性能提升幅度未在摘要中给出，属于未知信息。该研究为VFMs在显微镜图像分析中的应用提供了有力的证据，并建立了基准。

🎯 应用场景

该研究成果可广泛应用于生物医学图像分析领域，例如细胞类型识别、组织病理学诊断、药物筛选等。通过提升像素和对象分类的准确性和效率，可以辅助科研人员和临床医生进行更精确的分析和诊断，加速生物医学研究的进展，并最终改善患者的治疗效果。

📄 摘要（原文）

Deep learning underlies most modern approaches and tools in computer vision, including biomedical imaging. However, for interactive semantic segmentation (often called pixel classification in this context) and interactive object-level classification (object classification), feature-based shallow learning remains widely used. This is due to the diversity of data in this domain, the lack of large pretraining datasets, and the need for computational and label efficiency. In contrast, state-of-the-art tools for many other vision tasks in microscopy - most notably cellular instance segmentation - already rely on deep learning and have recently benefited substantially from vision foundation models (VFMs), particularly SAM. Here, we investigate whether VFMs can also improve pixel and object classification compared to current approaches. To this end, we evaluate several VFMs, including general-purpose models (SAM, SAM2, DINOv3) and domain-specific ones ($μ$SAM, PathoSAM), in combination with shallow learning and attentive probing on five diverse and challenging datasets. Our results demonstrate consistent improvements over hand-crafted features and provide a clear pathway toward practical improvements. Furthermore, our study establishes a benchmark for VFMs in microscopy and informs future developments in this area.