Multi-Resolution Histopathology Patch Graphs for Ovarian Cancer Subtyping
作者: Jack Breen, Katie Allen, Kieran Zucker, Nicolas M. Orsi, Nishant Ravikumar
分类: eess.IV, cs.AI, cs.CV
发布日期: 2024-07-25
备注: Initially submitted version of a paper which has been accepted in the GRAIL workshop at MICCAI 2024
💡 一句话要点
提出多分辨率组织病理切片图模型，用于卵巢癌亚型分类，性能达到新高。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 卵巢癌亚型分类 多分辨率图模型 组织病理图像 图神经网络 深度学习 预训练模型 计算机视觉
📋 核心要点
- 现有计算机视觉模型在卵巢癌亚型分类中表现出色，但通常只处理单一分辨率的组织切片，缺乏上下文信息。
- 论文提出一种多分辨率图模型，利用不同放大倍率下切片的空间关系，学习每个切片的上下文信息，从而提升分类性能。
- 实验结果表明，该模型在外部验证集上达到了99%的平衡准确率，超过了现有方法，为临床应用提供了可能。
📝 摘要（中文）
计算机视觉模型在卵巢上皮癌亚型分类方面能力日益增强，但它们与病理学家不同，在于其处理的是单一分辨率下的小组织切片。多分辨率图模型利用了不同放大倍率下切片的空间关系，从而学习每个切片的上下文信息。本研究对卵巢癌亚型分类的图模型进行了迄今为止最彻底的验证。使用来自利兹教学医院NHS信托的434名患者的1864张全切片图像（WSI），对七个模型进行了调整和五重交叉验证训练。交叉验证模型被集成，并使用来自30名患者的100张WSI的平衡留出测试集以及来自Transcanadian研究的80名患者的80张WSI的外部验证集进行评估。性能最佳的模型，即使用10x+20x放大倍率数据的图模型，在交叉验证、留出测试和外部验证中分别给出了73%、88%和99%的平衡准确率。然而，这仅在外部验证中超过了基于注意力的多示例学习的性能，其平衡准确率为93%。图模型极大地受益于使用UNI基础模型而不是ImageNet预训练的ResNet50进行特征提取，这对性能的影响远大于改变后续的分类方法。结合基础模型和多分辨率图网络的准确性为这些模型的临床应用提供了一步，为该任务提供了新的最高报告性能，但仍需要进一步验证以确保模型的稳健性和可用性。
🔬 方法详解
问题定义：论文旨在解决卵巢癌亚型分类问题。现有方法主要依赖于单一分辨率的组织切片，忽略了不同放大倍率下组织结构的空间关系，导致分类精度受限。病理学家在诊断时会综合考虑不同分辨率下的组织形态，因此需要一种能够模拟病理学家诊断过程的模型。
核心思路：论文的核心思路是构建多分辨率组织病理切片图模型，利用不同放大倍率下切片的空间关系，学习每个切片的上下文信息。通过图结构建模切片之间的关系，可以更好地捕捉组织结构的复杂性，从而提高分类精度。同时，利用预训练的基础模型提取切片特征，可以有效利用大规模无标签数据，提升模型的泛化能力。
技术框架：整体框架包括以下几个主要阶段：1) 全切片图像（WSI）预处理，包括切片提取和标准化；2) 使用预训练的基础模型（如UNI或ResNet50）提取不同放大倍率下切片的特征；3) 构建多分辨率图，其中节点表示切片，边表示切片之间的空间关系；4) 使用图神经网络（GNN）学习图的节点表示，从而得到每个切片的上下文信息；5) 使用分类器（如全连接网络）对切片进行亚型分类；6) 对多个交叉验证模型进行集成，提高模型的鲁棒性。
关键创新：论文的关键创新在于：1) 提出了多分辨率图模型，能够有效利用不同放大倍率下切片的空间关系；2) 探索了使用预训练的基础模型进行特征提取，显著提升了模型的性能；3) 对卵巢癌亚型分类的图模型进行了迄今为止最彻底的验证，证明了该方法的有效性。
关键设计：论文的关键设计包括：1) 使用10x和20x两种放大倍率的切片数据；2) 比较了UNI和ResNet50两种预训练模型，发现UNI的效果更好；3) 使用五重交叉验证进行模型训练和评估；4) 使用平衡准确率作为评估指标，以避免类别不平衡带来的影响；5) 对多个交叉验证模型进行集成，提高模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用10x+20x放大倍率数据的图模型在外部验证集上达到了99%的平衡准确率，显著优于其他方法。即使与基于注意力的多示例学习相比，也取得了93%的平衡准确率。此外，使用UNI基础模型进行特征提取比使用ImageNet预训练的ResNet50效果更好，表明预训练模型对性能提升至关重要。
🎯 应用场景
该研究成果可应用于辅助病理诊断，提高卵巢癌亚型分类的准确性和效率。通过多分辨率图模型，医生可以更全面地了解肿瘤组织的结构特征，从而制定更精准的治疗方案。该技术还可扩展到其他癌症类型的亚型分类，具有广阔的应用前景。
📄 摘要（原文）
Computer vision models are increasingly capable of classifying ovarian epithelial cancer subtypes, but they differ from pathologists by processing small tissue patches at a single resolution. Multi-resolution graph models leverage the spatial relationships of patches at multiple magnifications, learning the context for each patch. In this study, we conduct the most thorough validation of a graph model for ovarian cancer subtyping to date. Seven models were tuned and trained using five-fold cross-validation on a set of 1864 whole slide images (WSIs) from 434 patients treated at Leeds Teaching Hospitals NHS Trust. The cross-validation models were ensembled and evaluated using a balanced hold-out test set of 100 WSIs from 30 patients, and an external validation set of 80 WSIs from 80 patients in the Transcanadian Study. The best-performing model, a graph model using 10x+20x magnification data, gave balanced accuracies of 73%, 88%, and 99% in cross-validation, hold-out testing, and external validation, respectively. However, this only exceeded the performance of attention-based multiple instance learning in external validation, with a 93% balanced accuracy. Graph models benefitted greatly from using the UNI foundation model rather than an ImageNet-pretrained ResNet50 for feature extraction, with this having a much greater effect on performance than changing the subsequent classification approach. The accuracy of the combined foundation model and multi-resolution graph network offers a step towards the clinical applicability of these models, with a new highest-reported performance for this task, though further validations are still required to ensure the robustness and usability of the models.