PathoDuet: Foundation Models for Pathological Slide Analysis of H&E and IHC Stains

📄 arXiv: 2312.09894v2 📥 PDF

作者: Shengyi Hua, Fang Yan, Tianle Shen, Lei Ma, Xiaofan Zhang

分类: cs.CV, cs.AI

发布日期: 2023-12-15 (更新: 2024-08-05)

备注: Accepted for Medical Image Analysis

🔗 代码/项目: GITHUB

💡 一句话要点

PathoDuet：用于H&E和IHC病理切片分析的病理学基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 病理图像分析 自监督学习 基础模型 H&E染色 IHC染色 跨尺度定位 跨染色转移

📋 核心要点

  1. 现有方法难以直接应用于病理图像分析，因为自然图像和病理图像之间存在差距，阻碍了现有自监督学习方法的直接应用。
  2. PathoDuet通过引入pretext token和task raisers，显式利用多倍率和多染色等图像关系，从而更好地进行自监督学习。
  3. 实验结果表明，PathoDuet在H&E和IHC图像的多种下游任务上表现优异，验证了所提出的pretext任务的有效性。

📝 摘要（中文）

本文提出了PathoDuet，一系列在病理组织学图像上预训练的模型，以及一种新的组织病理学自监督学习框架。该框架的特点是引入了一种新的pretext token和后续的task raisers，以显式地利用图像之间的特定关系，如多倍率和多染色。基于此，设计了两个pretext任务：跨尺度定位和跨染色转移，分别用于在苏木精-伊红(H&E)图像上预训练模型，并将模型转移到免疫组织化学(IHC)图像。为了验证模型的有效性，评估了模型在各种下游任务上的性能，包括H&E领域的patch级别结直肠癌亚型分类和全切片图像(WSI)级别分类，以及IHC领域的IHC标记表达水平预测、肿瘤识别和切片级别定性分析。实验结果表明，我们的模型在大多数任务上优于现有方法，并验证了所提出的pretext任务的有效性。

🔬 方法详解

问题定义：论文旨在解决现有自监督学习方法在病理图像分析中表现不佳的问题。现有方法主要针对自然图像设计，忽略了病理图像的特殊性，例如多倍率、多染色等信息，导致模型无法充分学习病理图像的特征。

核心思路：论文的核心思路是设计一种新的自监督学习框架，该框架能够显式地利用病理图像的特有信息，例如多倍率和多染色之间的关系。通过设计合适的pretext任务，使模型能够学习到更具判别性的病理图像特征。

技术框架：PathoDuet框架包含两个主要的pretext任务：跨尺度定位和跨染色转移。首先，使用跨尺度定位任务在H&E图像上预训练模型，该任务旨在让模型学习不同放大倍率图像之间的对应关系。然后，使用跨染色转移任务将模型迁移到IHC图像上，该任务旨在让模型学习不同染色图像之间的关系。框架还包括pretext token和task raisers，用于显式地利用图像之间的关系。

关键创新：PathoDuet的关键创新在于提出了一个新的自监督学习框架，该框架能够显式地利用病理图像的特有信息。具体来说，引入了pretext token和task raisers，用于建模多倍率和多染色之间的关系。与现有方法相比，PathoDuet能够更好地学习病理图像的特征，从而在下游任务中取得更好的性能。

关键设计：跨尺度定位任务通过预测不同放大倍率图像之间的相对位置来训练模型。跨染色转移任务通过将H&E图像的特征转移到IHC图像上来训练模型。损失函数的设计旨在最大化模型学习到的特征的判别性。网络结构基于Transformer，并针对病理图像的特点进行了优化。

📊 实验亮点

实验结果表明，PathoDuet在多个下游任务上优于现有方法。例如，在patch级别的结直肠癌亚型分类任务中，PathoDuet取得了显著的性能提升。在IHC标记表达水平预测任务中，PathoDuet也表现出优异的性能。这些结果验证了PathoDuet的有效性和泛化能力。

🎯 应用场景

PathoDuet具有广泛的应用前景，可用于辅助病理医生进行疾病诊断、预后预测和治疗方案制定。例如，可以用于结直肠癌亚型分类、肿瘤识别、IHC标记表达水平预测等。该研究有助于提高病理诊断的准确性和效率，并为个性化医疗提供支持。

📄 摘要（原文）

Large amounts of digitized histopathological data display a promising future for developing pathological foundation models via self-supervised learning methods. Foundation models pretrained with these methods serve as a good basis for downstream tasks. However, the gap between natural and histopathological images hinders the direct application of existing methods. In this work, we present PathoDuet, a series of pretrained models on histopathological images, and a new self-supervised learning framework in histopathology. The framework is featured by a newly-introduced pretext token and later task raisers to explicitly utilize certain relations between images, like multiple magnifications and multiple stains. Based on this, two pretext tasks, cross-scale positioning and cross-stain transferring, are designed to pretrain the model on Hematoxylin and Eosin (H&E) images and transfer the model to immunohistochemistry (IHC) images, respectively. To validate the efficacy of our models, we evaluate the performance over a wide variety of downstream tasks, including patch-level colorectal cancer subtyping and whole slide image (WSI)-level classification in H&E field, together with expression level prediction of IHC marker, tumor identification and slide-level qualitative analysis in IHC field. The experimental results show the superiority of our models over most tasks and the efficacy of proposed pretext tasks. The codes and models are available at https://github.com/openmedlab/PathoDuet.