Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images

📄 arXiv: 2310.07033v1 📥 PDF

作者: Gabriele Campanella, Ricky Kwan, Eugene Fluder, Jennifer Zeng, Aryeh Stock, Brandon Veremis, Alexandros D. Polydorides, Cyrus Hedvat, Adam Schoenfeld, Chad Vanderbilt, Patricia Kovatch, Carlos Cordon-Cardo, Thomas J. Fuchs

分类: cs.CV, cs.AI, cs.LG, eess.IV

发布日期: 2023-10-10

💡 一句话要点

提出自监督基础模型以解决医学病理数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自监督学习 医学影像 病理学 视觉变换器 大规模数据集 模型泛化 临床应用

📋 核心要点

  1. 现有的自监督学习方法在医学病理领域的应用受到数据集规模和标注稀缺的限制，导致模型泛化能力不足。
  2. 本文通过收集超过30亿张图像的大规模病理数据集，比较了MAE和DINO算法在视觉变换器模型预训练中的表现。
  3. 实验结果显示，病理数据的预训练显著提升了下游任务的性能，DINO算法在所有任务中表现最佳，标志着计算病理研究的新阶段。

📝 摘要（中文）

近年来，自监督学习的突破使得利用大规模未标注数据集训练视觉基础模型成为可能，这些模型能够在多种下游任务中实现良好的泛化能力。尽管这一训练范式非常适合标注稀缺的医学领域，但在医学病理学领域的大规模预训练尚未得到充分研究。本文旨在训练最大的学术基础模型，并通过在大型临床病理数据集上进行预训练和评估，基准化最突出的自监督学习算法。我们收集了迄今为止最大的病理数据集，包含超过30亿张图像，来自423,000多个显微镜切片。实验结果表明，与自然图像预训练相比，病理数据的预训练对下游任务性能有显著提升，DINO算法在所有测试任务中表现出更好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决医学病理领域中大规模未标注数据集的利用问题，现有方法多依赖较小的数据集进行预训练，限制了模型的泛化能力。

核心思路：通过收集和利用超过30亿张图像的病理数据集，进行大规模自监督学习预训练，探索不同算法（如MAE和DINO）在下游任务中的表现。

技术框架：整体架构包括数据收集、预训练阶段（使用MAE和DINO算法）、以及下游任务评估阶段，涵盖乳腺癌检测、炎症性肠病检测等六个临床相关任务。

关键创新：最大的创新在于使用了前所未有的规模病理数据集进行预训练，DINO算法在所有测试任务中展现出更优的泛化性能，与现有方法相比具有显著的优势。

关键设计：在模型设计中，采用了视觉变换器架构，并在预训练过程中使用了掩码自编码器和DINO算法，优化了损失函数以提高模型的学习效率。通过这些设计，模型能够更好地捕捉病理图像中的特征。

📊 实验亮点

实验结果表明，与自然图像预训练相比，病理数据预训练在下游任务中显著提升了性能。DINO算法在所有六个临床相关任务中均表现出更好的泛化能力，标志着在计算病理研究中的重要进展。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、疾病早期检测和个性化医疗等。通过提高病理图像分析的准确性和效率，能够为临床决策提供更有力的支持，推动精准医疗的发展。未来，基于大规模预训练的模型有望在其他医学领域中得到广泛应用。

📄 摘要（原文）

Recent breakthroughs in self-supervised learning have enabled the use of large unlabeled datasets to train visual foundation models that can generalize to a variety of downstream tasks. While this training paradigm is well suited for the medical domain where annotations are scarce, large-scale pre-training in the medical domain, and in particular pathology, has not been extensively studied. Previous work in self-supervised learning in pathology has leveraged smaller datasets for both pre-training and evaluating downstream performance. The aim of this project is to train the largest academic foundation model and benchmark the most prominent self-supervised learning algorithms by pre-training and evaluating downstream performance on large clinical pathology datasets. We collected the largest pathology dataset to date, consisting of over 3 billion images from over 423 thousand microscopy slides. We compared pre-training of visual transformer models using the masked autoencoder (MAE) and DINO algorithms. We evaluated performance on six clinically relevant tasks from three anatomic sites and two institutions: breast cancer detection, inflammatory bowel disease detection, breast cancer estrogen receptor prediction, lung adenocarcinoma EGFR mutation prediction, and lung cancer immunotherapy response prediction. Our results demonstrate that pre-training on pathology data is beneficial for downstream performance compared to pre-training on natural images. Additionally, the DINO algorithm achieved better generalization performance across all tasks tested. The presented results signify a phase change in computational pathology research, paving the way into a new era of more performant models based on large-scale, parallel pre-training at the billion-image scale.