ProsMAE: Multi-Source MAE Pretraining for ISUP Grade Classification

📄 arXiv: 2607.08162v1 📥 PDF

作者: Anna Jung, Kyeonghun Kim, Youngung Han, Eunseob Choi, Jiwon Yang, Ken Ying-Kai Liao, Hyuk-Jae Lee, Nam-Joon Kim

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-07-09

备注: Accepted to APCCAS 2026

💡 一句话要点

提出ProsMAE以解决组织切片图像分类中的多源数据挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全切片图像 组织病理学 多源预训练 Masked Autoencoder 癌症分类 深度学习 图像分析

📋 核心要点

  1. 现有方法在处理全切片图像时面临数据规模大、变异性高和标注不足等挑战，导致模型训练效果不佳。
  2. 本文提出的ProsMAE框架通过多源数据预训练，增强了编码器对不同组织形态和采集条件的适应能力。
  3. 实验结果表明，ProsMAE在ISUP等级分类任务中，平均验证QWK值显著高于传统MAE方法，显示出更好的性能。

📝 摘要（中文）

全切片图像（WSIs）为计算病理学提供了丰富的诊断信息，但其巨大的像素规模、染色变异、扫描仪差异、组织伪影以及专家注释的有限性使得模型训练面临挑战。本文提出了一种多源Masked Autoencoder（MAE）框架，命名为ProsMAE，用于组织病理表征学习。ProsMAE通过使用来自前列腺癌等级评估（PANDA）、2017年淋巴结癌转移挑战（CAMELYON17）和乳腺癌亚型（BRACS）的切片进行预训练，以使编码器接触到多样的组织形态和采集条件。通过ProsCLS将学习到的编码器转移到国际泌尿病理学会（ISUP）等级分类中，使用冻结的编码器和线性分类头。ProsMAE在评估的PANDA分割下，取得了比传统MAE冻结线性探针基线更高的平均验证二次加权卡帕（QWK）值。

🔬 方法详解

问题定义：本文旨在解决全切片图像分类中的多源数据挑战，现有方法在处理不同来源的组织切片时，因数据变异性和标注不足而导致模型训练效果不理想。

核心思路：ProsMAE通过多源Masked Autoencoder框架进行预训练，使编码器能够学习到多样的组织形态特征，从而提高分类性能。该设计旨在增强模型对不同采集条件的鲁棒性。

技术框架：ProsMAE的整体架构包括数据预处理、编码器训练和分类器微调三个主要阶段。首先，从多个数据集提取切片进行预训练，然后将训练好的编码器用于ISUP等级分类任务。

关键创新：ProsMAE的主要创新在于其多源预训练策略，通过整合来自不同数据集的切片，提升了模型对多样性数据的学习能力，这与传统单一数据集训练方法有本质区别。

关键设计：在模型设计中，采用了Masked Autoencoder结构，结合适当的损失函数以优化编码器的学习效果。此外，冻结编码器并使用线性分类头进行微调，确保了模型的稳定性和高效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，ProsMAE在ISUP等级分类任务中取得了显著的性能提升，平均验证二次加权卡帕（QWK）值高于传统MAE冻结线性探针基线，显示出更强的分类能力和鲁棒性。这一结果强调了多源数据预训练的重要性。

🎯 应用场景

该研究的潜在应用领域包括医学图像分析、病理学自动化诊断和癌症分类等。通过提高组织切片图像的分类准确性，ProsMAE有望在临床实践中帮助医生更快、更准确地做出诊断决策，进而改善患者的治疗效果。

📄 摘要（原文）

Whole slide images (WSIs) provide rich diagnostic information for computational pathology, but their gigapixel scale, stain variation, scanner differences, tissue artifacts, and limited expert annotation make robust model training challenging. This paper presents a multi-source Masked Autoencoder (MAE) framework, named ProsMAE, for histopathology representation learning. Tiles from Prostate cANcer graDe Assessment (PANDA), CAncer MEtastases in LYmph nOdes challeNge 2017 (CAMELYON17), and BReAst Carcinoma Subtyping (BRACS) are used for ProsMAE pretraining to expose the encoder to diverse tissue morphology and acquisition conditions. The learned encoder is transferred for International Society of Urological Pathology (ISUP) grade classification through ProsCLS, using a frozen encoder and a linear classification head. ProsMAE achieved a higher mean validation quadratic weighted kappa (QWK) than the vanilla MAE frozen linear-probe baseline under the evaluated disjoint PANDA split. Repeated-split evaluation remains necessary to further establish robustness across split compositions.