A Survey on Computational Pathology Foundation Models: Datasets, Adaptation Strategies, and Evaluation Tasks

📄 arXiv: 2501.15724v2 📥 PDF

作者: Dong Li, Guihong Wan, Xintao Wu, Xinyu Wu, Ajit J. Nirmal, Christine G. Lian, Peter K. Sorger, Yevgeniy R. Semenov, Chen Zhao

分类: cs.CV, cs.AI

发布日期: 2025-01-27 (更新: 2025-02-26)

💡 一句话要点

计算病理学中的Foundation Model综述：数据集、适配策略与评估任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算病理学 Foundation Model 自监督学习 全切片图像 多模态融合 对比学习 迁移学习 病理诊断

📋 核心要点

  1. 现有计算病理学方法面临数据有限、数据集差异大、缺乏标准化评估等挑战，阻碍了模型的泛化能力和临床应用。
  2. 该综述深入分析了计算病理学Foundation Model，重点关注数据集、适配策略和评估任务，为研究人员提供全面的参考。
  3. 文章探讨了对比学习、多模态融合等关键技术，并指出了当前研究的不足，为未来CPathFMs的发展方向提供了指导。

📝 摘要（中文）

计算病理学Foundation Model (CPathFMs) 已经成为分析组织病理学数据的强大方法，它利用自监督学习从无标签的全切片图像中提取鲁棒的特征表示。这些模型分为单模态和多模态框架，在自动化复杂的病理学任务（如分割、分类和生物标志物发现）方面展现出潜力。然而，CPathFMs的开发面临着数据可访问性有限、数据集间高变异性、领域特定适配的必要性以及缺乏标准化评估基准等重大挑战。本综述全面回顾了计算病理学中的CPathFMs，重点关注数据集、适配策略和评估任务。我们分析了对比学习和多模态融合等关键技术，并强调了当前研究中存在的差距。最后，我们从四个角度探讨了推进CPathFMs的未来方向。本综述为研究人员、临床医生和AI从业者提供了一个宝贵的资源，指导CPathFMs朝着稳健且临床适用的AI驱动的病理学解决方案发展。

🔬 方法详解

问题定义：计算病理学领域面临着数据量不足、数据分布差异大以及缺乏统一的评估标准等问题。现有的方法在处理不同来源的病理图像时，泛化能力较弱，难以满足临床应用的实际需求。此外，如何有效地利用大量的无标签病理图像进行模型预训练，也是一个亟待解决的问题。

核心思路：该综述的核心思路是对现有的计算病理学Foundation Model进行全面的梳理和分析，从数据集、适配策略和评估任务三个方面入手，总结了当前研究的进展和挑战。通过分析不同模型的优缺点，为研究人员提供了一个清晰的路线图，指导他们更好地开发和应用CPathFMs。

技术框架：该综述没有提出新的技术框架，而是对现有的CPathFMs进行了分类和总结，主要分为单模态和多模态两种框架。单模态框架主要利用自监督学习从全切片图像中提取特征，而多模态框架则结合了基因组学、临床数据等多种信息，以提高模型的性能。

关键创新：该综述的创新之处在于它对CPathFMs进行了系统的总结和分析，并指出了当前研究中存在的差距和未来的发展方向。通过对数据集、适配策略和评估任务的深入探讨，为研究人员提供了一个全面的参考，有助于推动CPathFMs在临床病理学中的应用。

关键设计：该综述没有涉及具体的技术细节，而是侧重于对现有方法的总结和分析。文章讨论了对比学习、多模态融合等关键技术，并对不同的损失函数、网络结构等进行了比较。此外，文章还强调了领域特定适配的重要性，并提出了未来研究的四个方向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述全面回顾了计算病理学Foundation Model的研究进展，分析了现有方法的优缺点，并指出了未来研究的四个方向，包括：1) 开发更具鲁棒性的自监督学习方法；2) 研究更有效的多模态融合策略；3) 构建更全面的评估基准；4) 探索CPathFMs在临床实践中的应用。

🎯 应用场景

该研究成果对计算病理学领域具有重要意义，可应用于病理图像的自动分析、疾病诊断、预后预测和生物标志物发现。通过构建更强大的CPathFMs，有望提高病理诊断的准确性和效率，为患者提供更个性化的治疗方案，并加速新药研发进程。

📄 摘要（原文）

Computational pathology foundation models (CPathFMs) have emerged as a powerful approach for analyzing histopathological data, leveraging self-supervised learning to extract robust feature representations from unlabeled whole-slide images. These models, categorized into uni-modal and multi-modal frameworks, have demonstrated promise in automating complex pathology tasks such as segmentation, classification, and biomarker discovery. However, the development of CPathFMs presents significant challenges, such as limited data accessibility, high variability across datasets, the necessity for domain-specific adaptation, and the lack of standardized evaluation benchmarks. This survey provides a comprehensive review of CPathFMs in computational pathology, focusing on datasets, adaptation strategies, and evaluation tasks. We analyze key techniques, such as contrastive learning and multi-modal integration, and highlight existing gaps in current research. Finally, we explore future directions from four perspectives for advancing CPathFMs. This survey serves as a valuable resource for researchers, clinicians, and AI practitioners, guiding the advancement of CPathFMs toward robust and clinically applicable AI-driven pathology solutions.