Leveraging Pathology Foundation Models for Panoptic Segmentation of Melanoma in H&E Images

📄 arXiv: 2507.13974v1 📥 PDF

作者: Jiaqi Lv, Yijie Zhu, Carmen Guadalupe Colin Tenorio, Brinder Singh Chohan, Mark Eastwood, Shan E Ahmed Raza

分类: eess.IV, cs.CV, q-bio.QM

发布日期: 2025-07-18

备注: Accepted by MIUA 2025

💡 一句话要点

利用病理学基础模型进行H&E图像中黑色素瘤的全景分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑色素瘤 组织分割 病理学基础模型 深度学习 Efficient-UNet

📋 核心要点

  1. 黑色素瘤组织分割是病理分析的关键，但人工分割耗时且主观性强，需要自动化的解决方案。
  2. 论文提出利用在大量病理图像上预训练的Virchow2模型提取特征，并与Efficient-UNet结合进行分割。
  3. 该方法在PUMA Grand Challenge中获得第一名，验证了其在黑色素瘤组织分割中的有效性和泛化性。

📝 摘要（中文）

黑色素瘤是一种侵袭性皮肤癌，具有快速进展和高转移潜能。准确表征黑色素瘤的组织形态对于预后和治疗计划至关重要。然而，从苏木精-伊红(H&E)染色的全切片图像(WSI)中手动分割组织区域既费力又容易产生观察者间的差异，因此需要可靠的自动化组织分割方法。本研究提出了一种新的深度学习网络，用于分割黑色素瘤H&E图像中的五个组织类别。我们的方法利用Virchow2，一个在310万张组织病理学图像上训练的病理学基础模型作为特征提取器。这些特征与原始RGB图像融合，然后由编码器-解码器分割网络(Efficient-UNet)处理，以生成准确的分割图。所提出的模型在PUMA Grand Challenge的组织分割任务中获得第一名，展示了强大的性能和泛化能力。我们的结果表明，将病理学基础模型整合到分割网络中具有加速计算病理学工作流程的潜力和有效性。

🔬 方法详解

问题定义：论文旨在解决黑色素瘤H&E染色全切片图像中组织区域的自动分割问题。现有手动分割方法耗时费力，且容易受到观察者主观性的影响，导致结果不一致。因此，需要一种可靠且高效的自动化分割方法。

核心思路：论文的核心思路是利用病理学基础模型Virchow2强大的特征提取能力，结合高效的分割网络Efficient-UNet，实现对黑色素瘤组织区域的精确分割。Virchow2在大量病理图像上预训练，能够学习到丰富的组织结构信息，从而提升分割性能。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 使用Virchow2作为特征提取器，从H&E图像中提取特征；2) 将提取的特征与原始RGB图像进行融合；3) 使用Efficient-UNet作为分割网络，对融合后的特征进行处理，生成分割图。Efficient-UNet采用编码器-解码器结构，能够有效地捕获图像中的上下文信息。

关键创新：该方法最重要的技术创新点在于将病理学基础模型Virchow2引入到黑色素瘤组织分割任务中。与传统的从头训练的分割模型相比，利用Virchow2提取的特征能够更好地表征组织结构，从而提升分割性能。此外，该方法还采用了特征融合策略，将Virchow2提取的特征与原始RGB图像相结合，进一步提升了分割的准确性。

关键设计：Virchow2模型使用其预训练的权重进行特征提取，Efficient-UNet的结构参数遵循原始论文的设置。损失函数未知，但通常分割任务会采用交叉熵损失或Dice损失。特征融合的具体方式未知，但可能是简单的通道拼接或更复杂的注意力机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在PUMA Grand Challenge的组织分割任务中获得了第一名，证明了其在黑色素瘤组织分割中的优越性能和泛化能力。具体的性能指标和对比基线未知，但获得第一名表明该方法在准确性和鲁棒性方面都具有显著优势。

🎯 应用场景

该研究成果可应用于黑色素瘤的计算机辅助诊断，帮助病理学家更快速、准确地进行组织分割和病理分析，从而提高诊断效率和准确性，辅助治疗方案的制定。未来，该方法有望推广到其他类型的癌症组织分割任务中，加速计算病理学的发展。

📄 摘要（原文）

Melanoma is an aggressive form of skin cancer with rapid progression and high metastatic potential. Accurate characterisation of tissue morphology in melanoma is crucial for prognosis and treatment planning. However, manual segmentation of tissue regions from haematoxylin and eosin (H&E) stained whole-slide images (WSIs) is labour-intensive and prone to inter-observer variability, this motivates the need for reliable automated tissue segmentation methods. In this study, we propose a novel deep learning network for the segmentation of five tissue classes in melanoma H&E images. Our approach leverages Virchow2, a pathology foundation model trained on 3.1 million histopathology images as a feature extractor. These features are fused with the original RGB images and subsequently processed by an encoder-decoder segmentation network (Efficient-UNet) to produce accurate segmentation maps. The proposed model achieved first place in the tissue segmentation task of the PUMA Grand Challenge, demonstrating robust performance and generalizability. Our results show the potential and efficacy of incorporating pathology foundation models into segmentation networks to accelerate computational pathology workflows.