Instance-Aware Pseudo-Labeling and Class-Focused Contrastive Learning for Weakly Supervised Domain Adaptive Segmentation of Electron Microscopy

📄 arXiv: 2510.16450v1 📥 PDF

作者: Shan Xiong, Jiabao Chen, Ye Wang, Jialin Peng

分类: cs.CV

发布日期: 2025-10-18

💡 一句话要点

提出实例感知伪标签与类别聚焦对比学习，用于电镜图像弱监督域自适应分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 弱监督学习 域自适应 图像分割 电子显微镜 伪标签 对比学习 多任务学习

📋 核心要点

  1. 现有无监督域自适应方法在电镜图像分割中性能较低，且标注成本高昂，难以满足实际应用需求。
  2. 提出一种多任务学习框架，结合实例感知伪标签选择和类别聚焦跨域对比学习，充分利用稀疏点标注信息。
  3. 实验结果表明，该方法在WDA和UDA设置下均优于现有方法，显著提升了电镜图像分割的性能。

📝 摘要（中文）

本文针对电子显微镜(EM)图像中大量线粒体实例的标注效率分割问题，提出了一种弱监督域自适应(WDA)方法。该方法利用目标域上的稀疏点标签，通过多任务学习框架联合进行分割和中心检测，并引入交叉教学机制和类别聚焦的跨域对比学习，充分利用不完整和不精确的点标注。此外，为了利用未标记的图像区域，本文提出了一种新的实例感知伪标签(IPL)选择策略进行分割自训练，该策略借助检测任务语义化地选择可靠且多样的伪标签，而非传统的像素级伪标签过滤。在具有挑战性的数据集上的综合验证和比较表明，该方法优于现有的UDA和WDA方法，显著缩小了与监督上限的性能差距。在UDA设置下，该方法也优于其他UDA技术。

🔬 方法详解

问题定义：论文旨在解决电子显微镜（EM）图像的弱监督域自适应分割问题，特别是线粒体等细胞器的分割。现有无监督域自适应（UDA）方法在实际应用中性能较低，而完全监督的方法需要大量的标注工作。弱监督域自适应（WDA）利用少量点标注可以降低标注成本，但如何有效利用这些不完整和不精确的点标注是一个挑战。

核心思路：论文的核心思路是结合多任务学习、实例感知伪标签选择和类别聚焦的跨域对比学习，充分利用目标域上的稀疏点标注和未标注数据。通过联合进行分割和中心检测，可以相互促进，提高分割精度。实例感知伪标签选择可以更可靠地选择伪标签，而类别聚焦的跨域对比学习可以减小源域和目标域之间的领域差异。

技术框架：整体框架是一个多任务学习框架，包含分割和中心检测两个任务分支。首先，利用源域数据和目标域的少量点标注进行初步训练。然后，利用训练好的模型在目标域上生成伪标签，并使用实例感知伪标签选择策略选择可靠的伪标签。最后，利用选择的伪标签和类别聚焦的跨域对比学习进一步训练模型，提高分割性能。

关键创新：论文的关键创新点在于实例感知伪标签（IPL）选择策略和类别聚焦的跨域对比学习。IPL策略利用中心检测任务的信息，语义化地选择可靠且多样的伪标签，避免了传统像素级伪标签过滤的局限性。类别聚焦的跨域对比学习通过关注不同类别的特征分布，更有效地减小了源域和目标域之间的领域差异。

关键设计：在实例感知伪标签选择中，利用中心检测任务预测的中心点作为指导，选择包含中心点的分割区域作为可靠的伪标签。在类别聚焦的跨域对比学习中，设计了基于类别信息的对比损失函数，鼓励相同类别的特征在不同域中更加接近，不同类别的特征更加远离。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在两个具有挑战性的电镜图像数据集上均取得了显著的性能提升。在WDA设置下，该方法优于现有的UDA和WDA方法，并显著缩小了与监督上限的性能差距。在UDA设置下，该方法也优于其他UDA技术，证明了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于生物学和神经科学研究中，用于自动分割电子显微镜图像中的线粒体等细胞器，从而加速细胞结构分析、疾病诊断和药物研发等过程。通过减少人工标注的工作量，可以更高效地处理大量的电镜图像数据，为相关研究提供有力支持。

📄 摘要（原文）

Annotation-efficient segmentation of the numerous mitochondria instances from various electron microscopy (EM) images is highly valuable for biological and neuroscience research. Although unsupervised domain adaptation (UDA) methods can help mitigate domain shifts and reduce the high costs of annotating each domain, they typically have relatively low performance in practical applications. Thus, we investigate weakly supervised domain adaptation (WDA) that utilizes additional sparse point labels on the target domain, which require minimal annotation effort and minimal expert knowledge. To take full use of the incomplete and imprecise point annotations, we introduce a multitask learning framework that jointly conducts segmentation and center detection with a novel cross-teaching mechanism and class-focused cross-domain contrastive learning. While leveraging unlabeled image regions is essential, we introduce segmentation self-training with a novel instance-aware pseudo-label (IPL) selection strategy. Unlike existing methods that typically rely on pixel-wise pseudo-label filtering, the IPL semantically selects reliable and diverse pseudo-labels with the help of the detection task. Comprehensive validations and comparisons on challenging datasets demonstrate that our method outperforms existing UDA and WDA methods, significantly narrowing the performance gap with the supervised upper bound. Furthermore, under the UDA setting, our method also achieves substantial improvements over other UDA techniques.