Instance-Aware Pseudo-Labeling and Class-Focused Contrastive Learning for Weakly Supervised Domain Adaptive Segmentation of Electron Microscopy

📄 arXiv: 2510.16450v1 📥 PDF

作者: Shan Xiong, Jiabao Chen, Ye Wang, Jialin Peng

分类: cs.CV

发布日期: 2025-10-18

💡 一句话要点

针对电子显微镜图像，提出实例感知伪标签和类别聚焦对比学习的弱监督域自适应分割方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 弱监督学习 域自适应 图像分割 电子显微镜 伪标签 对比学习 多任务学习

📋 核心要点

  1. 电子显微镜图像分割标注成本高昂，现有无监督域自适应方法性能不足，难以满足实际应用需求。
  2. 提出一种多任务学习框架，结合交叉教学机制和类别聚焦跨域对比学习，利用少量点标签提升分割性能。
  3. 引入实例感知伪标签选择策略，借助检测任务选择可靠伪标签进行自训练，显著提升分割精度。

📝 摘要（中文）

本文针对电子显微镜(EM)图像中大量线粒体实例的标注效率分割问题，提出了一种弱监督域自适应(WDA)方法。该方法利用目标域上的少量稀疏点标签，通过多任务学习框架联合进行分割和中心检测，并引入了新颖的交叉教学机制和类别聚焦的跨域对比学习。为了充分利用未标记的图像区域，本文还提出了一种基于实例感知伪标签(IPL)选择策略的分割自训练方法，该策略借助检测任务，在语义上选择可靠且多样的伪标签。在具有挑战性的数据集上的综合验证和比较表明，该方法优于现有的UDA和WDA方法，显著缩小了与监督上限的性能差距。此外，在UDA设置下，该方法也比其他UDA技术取得了显著的改进。

🔬 方法详解

问题定义：电子显微镜图像的分割，特别是线粒体等细胞器的分割，在生物学和神经科学研究中至关重要。然而，人工标注电子显微镜图像非常耗时耗力。现有的无监督域自适应(UDA)方法试图解决这个问题，但其性能在实际应用中往往不尽如人意。因此，如何利用少量标注信息，提升域自适应分割的性能，是本文要解决的核心问题。

核心思路：本文的核心思路是利用弱监督信息（少量点标注），结合多任务学习和对比学习，来提升域自适应分割的性能。通过联合训练分割和中心检测任务，可以相互促进，提高模型的鲁棒性。同时，利用类别聚焦的跨域对比学习，可以减小源域和目标域之间的特征差异。此外，通过实例感知的伪标签选择策略，可以更有效地利用未标注数据进行自训练。

技术框架：该方法采用一个多任务学习框架，同时进行分割和中心检测。框架包含以下几个主要模块：1) 特征提取模块：用于提取图像的特征表示。2) 分割模块：用于预测像素级别的分割结果。3) 中心检测模块：用于预测细胞器的中心位置。4) 交叉教学模块：用于在分割和中心检测任务之间进行知识迁移。5) 跨域对比学习模块：用于减小源域和目标域之间的特征差异。6) 实例感知伪标签选择模块：用于选择可靠的伪标签进行自训练。

关键创新：本文的关键创新在于以下几个方面：1) 提出了一种新颖的交叉教学机制，可以有效地在分割和中心检测任务之间进行知识迁移。2) 提出了一种类别聚焦的跨域对比学习方法，可以更好地减小源域和目标域之间的特征差异。3) 提出了一种实例感知的伪标签选择策略，可以更有效地利用未标注数据进行自训练。与现有方法相比，本文的方法能够更充分地利用弱监督信息，从而提升域自适应分割的性能。

关键设计：在损失函数方面，本文采用了分割损失、中心检测损失和对比学习损失的加权和。分割损失采用交叉熵损失，中心检测损失采用Focal Loss，对比学习损失采用InfoNCE损失。在网络结构方面，本文采用了U-Net作为分割网络，并在此基础上添加了中心检测分支。实例感知伪标签选择策略的关键在于，首先利用中心检测的结果来确定每个实例的位置，然后根据分割结果和实例位置来选择可靠的伪标签。

📊 实验亮点

实验结果表明，该方法在电子显微镜图像分割任务上取得了显著的性能提升。与现有的UDA和WDA方法相比，该方法在多个数据集上都取得了最佳的分割精度，并且显著缩小了与监督上限的性能差距。例如，在某数据集上，该方法比最先进的UDA方法提升了超过5个百分点的Dice系数。

🎯 应用场景

该研究成果可应用于生物医学图像分析领域，例如细胞器分割、细胞计数等。通过减少对大量标注数据的依赖，可以降低研究成本，加速生物学和神经科学的研究进程。该方法还可推广到其他需要进行域自适应分割的场景，例如遥感图像分析、医学图像诊断等。

📄 摘要（原文）

Annotation-efficient segmentation of the numerous mitochondria instances from various electron microscopy (EM) images is highly valuable for biological and neuroscience research. Although unsupervised domain adaptation (UDA) methods can help mitigate domain shifts and reduce the high costs of annotating each domain, they typically have relatively low performance in practical applications. Thus, we investigate weakly supervised domain adaptation (WDA) that utilizes additional sparse point labels on the target domain, which require minimal annotation effort and minimal expert knowledge. To take full use of the incomplete and imprecise point annotations, we introduce a multitask learning framework that jointly conducts segmentation and center detection with a novel cross-teaching mechanism and class-focused cross-domain contrastive learning. While leveraging unlabeled image regions is essential, we introduce segmentation self-training with a novel instance-aware pseudo-label (IPL) selection strategy. Unlike existing methods that typically rely on pixel-wise pseudo-label filtering, the IPL semantically selects reliable and diverse pseudo-labels with the help of the detection task. Comprehensive validations and comparisons on challenging datasets demonstrate that our method outperforms existing UDA and WDA methods, significantly narrowing the performance gap with the supervised upper bound. Furthermore, under the UDA setting, our method also achieves substantial improvements over other UDA techniques.