A Survey of Pathology Foundation Model: Progress and Future Directions

📄 arXiv: 2504.04045v2 📥 PDF

作者: Conghao Xiong, Hao Chen, Joseph J. Y. Sung

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-04-05 (更新: 2025-05-21)

备注: Accepted to IJCAI 2025 Survey Track, 10 Pages

🔗 代码/项目: GITHUB

💡 一句话要点

病理学Foundation Model综述：系统分析现有模型，指明未来发展方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算病理学 Foundation Model 全切片图像 多示例学习 癌症诊断 预训练 模型评估

📋 核心要点

  1. 现有计算病理学方法依赖人工设计的特征提取器，泛化能力弱，且难以有效利用大规模病理图像数据。
  2. 该综述提出了一种分层分类法，从模型范围、预训练和设计三个维度系统地组织和分析现有的病理学Foundation Model。
  3. 该综述对PFM的评估任务进行了细致划分，并指出了PFM在开发和应用中面临的关键挑战，为未来研究提供了方向。

📝 摘要（中文）

计算病理学依赖于多示例学习，通过分析全切片图像实现癌症自动诊断，其性能高度依赖于特征提取器和聚合器。近年来，大规模组织病理学数据上预训练的病理学Foundation Model (PFM) 显著提升了提取器和聚合器的性能，但缺乏系统的分析框架。本综述提出了一个分层分类法，通过自顶向下的方法组织PFM，适用于任何领域的Foundation Model分析：模型范围、模型预训练和模型设计。此外，我们将PFM评估任务系统地分为切片级别、patch级别、多模态和生物学任务，提供了全面的基准测试标准。我们的分析指出了PFM开发（病理学特定方法、端到端预训练、数据-模型可扩展性）和利用（有效适应、模型维护）中的关键挑战，为该领域未来的发展方向铺平了道路。本综述中引用的资源可在https://github.com/BearCleverProud/AwesomeWSI 找到。

🔬 方法详解

问题定义：计算病理学旨在通过分析全切片图像（WSI）实现癌症的自动诊断。传统方法依赖于人工设计的特征提取器和多示例学习（MIL），但这些方法泛化能力有限，难以充分利用大规模的病理图像数据。现有的病理学Foundation Model (PFM)虽然在一定程度上解决了这些问题，但缺乏系统的分析和评估框架，阻碍了该领域的进一步发展。

核心思路：该综述的核心思路是构建一个全面的、分层的分类框架，用于系统地分析和比较现有的PFM。通过对PFM的各个方面（模型范围、预训练方法、模型设计）进行解构，可以更好地理解不同PFM的优缺点，并为未来的研究提供指导。

技术框架：该综述的技术框架主要包含以下几个部分：1) 提出一个分层分类法，从模型范围、模型预训练和模型设计三个维度对PFM进行组织和分类。2) 将PFM的评估任务划分为切片级别、patch级别、多模态和生物学任务，并为每个任务提供相应的评估指标。3) 分析PFM在开发和应用中面临的关键挑战，例如病理学特定方法的设计、端到端预训练的实现、数据-模型可扩展性问题等。

关键创新：该综述的主要创新在于提出了一个系统性的分析框架，用于理解和比较不同的PFM。该框架不仅考虑了模型的架构和预训练方法，还关注了模型的应用场景和评估指标。这种全面的分析方法有助于研究人员更好地理解PFM的优势和局限性，并为未来的研究提供更清晰的方向。

关键设计：在模型范围方面，综述考虑了模型所处理的病理图像类型（如HE染色、免疫组化染色等）和病理区域（如肿瘤区域、正常组织区域等）。在模型预训练方面，综述分析了不同的预训练数据集（如TCGA、PAIP等）和预训练目标（如对比学习、掩码图像建模等）。在模型设计方面，综述考察了不同的网络架构（如ResNet、Transformer等）和训练策略（如多示例学习、自监督学习等）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述系统地分析了现有的病理学Foundation Model，并将其评估任务划分为四个层次，为该领域的研究提供了全面的基准测试标准。通过分析，该综述指出了PFM在开发和应用中面临的关键挑战，为未来的研究方向提供了清晰的指导，例如病理学特定方法、端到端预训练和数据-模型可扩展性。

🎯 应用场景

该研究成果可应用于计算病理学领域，加速癌症诊断和预后预测的自动化进程。通过对现有PFM的系统分析，可以指导未来PFM的设计和开发，提升模型在实际临床应用中的性能和可靠性。此外，该综述提出的分类框架也适用于其他医学图像分析任务，具有广泛的应用前景。

📄 摘要（原文）

Computational pathology, which involves analyzing whole slide images for automated cancer diagnosis, relies on multiple instance learning, where performance depends heavily on the feature extractor and aggregator. Recent Pathology Foundation Models (PFMs), pretrained on large-scale histopathology data, have significantly enhanced both the extractor and aggregator, but they lack a systematic analysis framework. In this survey, we present a hierarchical taxonomy organizing PFMs through a top-down philosophy applicable to foundation model analysis in any domain: model scope, model pretraining, and model design. Additionally, we systematically categorize PFM evaluation tasks into slide-level, patch-level, multimodal, and biological tasks, providing comprehensive benchmarking criteria. Our analysis identifies critical challenges in both PFM development (pathology-specific methodology, end-to-end pretraining, data-model scalability) and utilization (effective adaptation, model maintenance), paving the way for future directions in this promising field. Resources referenced in this survey are available at https://github.com/BearCleverProud/AwesomeWSI.