HistoEncoder: a digital pathology foundation model for prostate cancer
作者: Joona Pohjonen, Abderrahim-Oussama Batouche, Antti Rannikko, Kevin Sandeman, Andrew Erickson, Esa Pitkanen, Tuomas Mirtti
分类: eess.IV, cs.AI, cs.CV
发布日期: 2024-11-18 (更新: 2024-11-22)
💡 一句话要点
HistoEncoder：用于前列腺癌数字病理学的预训练基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 前列腺癌 数字病理学 基础模型 预训练 组织病理图像 Transformer 对比学习
📋 核心要点
- 现有方法在处理前列腺癌数字病理图像时，需要大量标注数据和计算资源，限制了其应用。
- HistoEncoder通过在海量前列腺组织切片图像上进行预训练，学习通用的组织学特征表示。
- 实验表明，HistoEncoder在下游任务中表现优异，即使在数据量有限的情况下也能超越传统方法。
📝 摘要（中文）
本文提出了一种用于前列腺癌数字病理学的基础模型HistoEncoder，该模型通过在4800万张前列腺组织切片图像上进行预训练而得。实验表明，HistoEncoder提取的具有相似组织学模式的切片图像特征在特征空间中紧密映射。即使没有微调或使用少1000倍的训练数据，HistoEncoder也优于使用自然图像预训练的模型。文章描述了两个用例，通过使用有限的数据和计算资源对模型进行微调，从而利用HistoEncoder的能力。首先，展示了HistoEncoder如何用于高精度地自动注释大规模数据集。其次，将组织学与常用的临床列线图相结合，显著改善了前列腺癌特异性死亡生存模型。HistoEncoder等基础模型可以使资源有限的组织能够构建有效的临床软件工具，而无需大量数据集或大量计算。
🔬 方法详解
问题定义：现有前列腺癌数字病理分析方法依赖于大量标注数据和高昂的计算成本，这使得资源有限的机构难以开发有效的临床工具。此外，从自然图像预训练的模型可能无法很好地捕捉组织病理图像的特有特征。
核心思路：本文的核心思路是利用大规模无标注的前列腺组织切片图像进行预训练，从而学习一个通用的、适用于前列腺癌数字病理分析的基础模型。通过预训练，模型可以学习到组织结构的内在特征，从而在下游任务中仅需少量数据即可达到良好的性能。
技术框架：HistoEncoder的整体框架包括预训练阶段和微调阶段。在预训练阶段，模型在大规模前列腺组织切片图像数据集上进行训练，学习组织学特征表示。在微调阶段，将预训练好的模型应用于特定的下游任务，如自动标注和生存预测，并使用少量标注数据进行微调。
关键创新：HistoEncoder的关键创新在于其利用大规模病理图像数据进行自监督预训练，从而学习到适用于病理图像分析的特征表示。与使用自然图像预训练的模型相比，HistoEncoder能够更好地捕捉组织结构的细微差异，从而在下游任务中表现更佳。
关键设计：HistoEncoder使用了Transformer架构，并采用了对比学习的训练方式。具体来说，模型将同一张切片图像的不同增强版本作为正样本，将其他切片图像的增强版本作为负样本，通过最大化正样本之间的相似度，最小化负样本之间的相似度来学习特征表示。损失函数采用了InfoNCE损失函数。图像被分割成tile，大小为256x256像素。
🖼️ 关键图片
📊 实验亮点
HistoEncoder在自动标注任务中表现出色，即使使用比传统方法少1000倍的训练数据，也能达到更高的精度。在生存预测任务中，HistoEncoder与临床列线图结合使用，显著提高了预测的准确性，表明了其在临床应用中的潜力。
🎯 应用场景
HistoEncoder可应用于前列腺癌的自动诊断、预后预测和治疗方案选择。该模型能够帮助病理学家更高效、更准确地分析病理图像，从而改善患者的治疗效果。此外，HistoEncoder还可以用于药物研发，例如，识别对特定药物敏感的肿瘤亚型。
📄 摘要（原文）
Foundation models are trained on massive amounts of data to distinguish complex patterns and can be adapted to a wide range of downstream tasks with minimal computational resources. Here, we develop a foundation model for prostate cancer digital pathology called HistoEncoder by pre-training on 48 million prostate tissue tile images. We demonstrate that HistoEncoder features extracted from tile images with similar histological patterns map closely together in the feature space. HistoEncoder outperforms models pre-trained with natural images, even without fine-tuning or with 1000 times less training data. We describe two use cases that leverage the capabilities of HistoEncoder by fine-tuning the model with a limited amount of data and computational resources. First, we show how HistoEncoder can be used to automatically annotate large-scale datasets with high accuracy. Second, we combine histomics with commonly used clinical nomograms, significantly improving prostate cancer-specific death survival models. Foundation models such as HistoEncoder can allow organizations with limited resources to build effective clinical software tools without needing extensive datasets or significant amounts of computing.