Domain-invariant Representation Learning via Segment Anything Model for Blood Cell Classification

📄 arXiv: 2408.07467v1 📥 PDF

作者: Yongcheng Li, Lingcong Cai, Ying Lu, Cheng Lin, Yupeng Zhang, Jingyan Jiang, Genan Dai, Bowen Zhang, Jingzhou Cao, Xiangzhong Zhang, Xiaomao Fan

分类: cs.CV

发布日期: 2024-08-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于SAM的领域不变表征学习框架，提升血细胞跨域分类精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 血细胞分类 领域不变学习 Segment Anything Model LoRA微调 跨域自编码器

📋 核心要点

  1. 现有血细胞分类模型在跨域场景下泛化能力不足，主要原因是不同实验室的程序和设置导致了领域偏移。
  2. 论文提出DoRL框架，利用LoRA微调SAM学习图像嵌入并分割血细胞，再通过CAE学习领域不变表征。
  3. 实验结果表明，DoRL在跨域血细胞分类任务上取得了显著提升，超越了现有方法，达到新的SOTA。

📝 摘要（中文）

血细胞的精确分类对于血液系统疾病的诊断至关重要。然而，在实际应用中，由于实验室程序和设置的差异导致的领域偏移，会迅速降低模型的泛化性能。为了解决这个问题，我们提出了一种新颖的领域不变表征学习（DoRL）框架，该框架利用Segment Anything Model（SAM）进行血细胞分类。DoRL主要包含两个组成部分：基于LoRA的SAM（LoRA-SAM）和一个跨域自编码器（CAE）。DoRL的优势在于，它可以以无监督的方式从各种血细胞数据集中提取领域不变的表征。具体来说，我们首先利用大规模的基础模型SAM，通过LoRA进行微调，以学习通用的图像嵌入并分割血细胞。此外，我们引入CAE来学习跨不同领域数据集的领域不变表征，同时减轻图像伪影的影响。为了验证领域不变表征的有效性，我们采用五种广泛使用的机器学习分类器来构建血细胞分类模型。在两个公共血细胞数据集和一个私有真实数据集上的实验结果表明，我们提出的DoRL实现了新的最先进的跨域性能，显著超越了现有方法。

🔬 方法详解

问题定义：血细胞分类在临床诊断中至关重要，但不同实验室之间的数据存在领域差异，导致模型在新的数据集上表现不佳。现有方法难以有效提取领域不变的特征，从而限制了模型的泛化能力。

核心思路：利用预训练的Segment Anything Model (SAM) 强大的图像分割能力，结合LoRA进行高效微调，提取血细胞的通用特征。然后，通过跨域自编码器 (CAE) 进一步学习领域不变的表征，消除领域差异带来的影响。这种方法旨在学习到与具体数据来源无关的、更具泛化性的血细胞特征。

技术框架：DoRL框架包含两个主要模块：LoRA-SAM 和 CAE。首先，使用LoRA对SAM进行微调，使其适应血细胞图像的分割任务，得到血细胞的图像嵌入。然后，将这些嵌入输入到CAE中，CAE通过学习跨域的共享表征，消除领域特定的信息。最后，将CAE提取的领域不变表征用于血细胞分类。

关键创新：该方法的核心创新在于将预训练的SAM模型引入到领域不变表征学习中。SAM作为一个强大的视觉基础模型，能够提供高质量的图像嵌入和分割结果，从而为后续的领域不变表征学习奠定基础。此外，结合LoRA进行高效微调，降低了计算成本。

关键设计：LoRA-SAM使用预训练的SAM模型作为骨干网络，通过LoRA技术进行微调，以适应血细胞分割任务。CAE采用自编码器的结构，通过最小化重构误差和领域判别损失来学习领域不变表征。具体的损失函数设计包括重构损失、对抗损失（用于领域判别）等。分类器部分，文章使用了五种常用的机器学习分类器，以验证DoRL提取的特征的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DoRL在跨域血细胞分类任务上取得了显著的性能提升，超越了现有方法。具体而言，在两个公共数据集和一个私有数据集上，DoRL的分类准确率均优于其他基线方法，证明了其领域不变表征学习的有效性。具体的性能提升幅度在论文中进行了详细的量化。

🎯 应用场景

该研究成果可应用于临床血液疾病的辅助诊断，通过提高血细胞分类的准确性和鲁棒性，减少人工干预，提升诊断效率。该方法还可推广到其他医学图像分析任务，例如细胞病理学、组织病理学等，具有广阔的应用前景。

📄 摘要（原文）

Accurate classification of blood cells is of vital significance in the diagnosis of hematological disorders. However, in real-world scenarios, domain shifts caused by the variability in laboratory procedures and settings, result in a rapid deterioration of the model's generalization performance. To address this issue, we propose a novel framework of domain-invariant representation learning (DoRL) via segment anything model (SAM) for blood cell classification. The DoRL comprises two main components: a LoRA-based SAM (LoRA-SAM) and a cross-domain autoencoder (CAE). The advantage of DoRL is that it can extract domain-invariant representations from various blood cell datasets in an unsupervised manner. Specifically, we first leverage the large-scale foundation model of SAM, fine-tuned with LoRA, to learn general image embeddings and segment blood cells. Additionally, we introduce CAE to learn domain-invariant representations across different-domain datasets while mitigating images' artifacts. To validate the effectiveness of domain-invariant representations, we employ five widely used machine learning classifiers to construct blood cell classification models. Experimental results on two public blood cell datasets and a private real dataset demonstrate that our proposed DoRL achieves a new state-of-the-art cross-domain performance, surpassing existing methods by a significant margin. The source code can be available at the URL (https://github.com/AnoK3111/DoRL).