Molecular-driven Foundation Model for Oncologic Pathology
作者: Anurag Vaidya, Andrew Zhang, Guillaume Jaume, Andrew H. Song, Tong Ding, Sophia J. Wagner, Ming Y. Lu, Paul Doucet, Harry Robertson, Cristina Almagro-Perez, Richard J. Chen, Dina ElHarouni, Georges Ayoub, Connor Bossi, Keith L. Ligon, Georg Gerber, Long Phi Le, Faisal Mahmood
分类: cs.CV, cs.AI
发布日期: 2025-01-28
💡 一句话要点
Threads：基于分子驱动的肿瘤病理学Foundation Model，实现全切片图像通用表征。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Foundation Model 计算病理学 多模态学习 全切片图像 肿瘤学 基因组学 转录组学
📋 核心要点
- 现有Foundation Model难以编码完整的千兆像素全切片图像，且常缺乏互补的多模态数据。
- Threads通过多模态学习方法，利用H&E染色切片与基因组/转录组数据对进行预训练，捕获组织分子组成。
- Threads在54个肿瘤学任务中超越基线，展现出泛化性和标签效率，尤其擅长预测罕见事件。
📝 摘要（中文）
本文提出了Threads，一种切片级别的Foundation Model，旨在生成任意大小的全切片图像的通用表征。Threads模型基于包含47,171个苏木精-伊红(H&E)染色组织切片的大规模数据集进行预训练，该数据集与相应的基因组和转录组谱配对，是迄今为止用于Foundation Model开发的最大此类配对数据集。这种独特的训练模式使Threads能够捕获组织潜在的分子组成，从而产生适用于各种下游任务的强大表征。在包括临床亚型分类、分级、突变预测、免疫组织化学状态确定、治疗反应预测和生存预测在内的54个肿瘤学任务的广泛基准测试中，Threads优于所有基线，同时表现出卓越的泛化性和标签效率。它特别适合预测罕见事件，进一步强调了其临床实用性。该模型将向更广泛的社区公开。
🔬 方法详解
问题定义：现有计算病理学中的Foundation Model虽然可以通过迁移学习适应下游任务，但难以直接处理完整的千兆像素全切片图像，需要额外的训练。此外，现有模型通常缺乏与组织切片对应的基因组和转录组等多模态数据，限制了其对肿瘤微环境的理解能力。
核心思路：本文的核心思路是利用大规模的配对H&E染色切片图像和分子谱数据（基因组和转录组）进行多模态预训练，从而使模型能够学习到组织切片图像与其底层分子组成之间的关联。这样，模型就能生成更具信息量的图像表征，从而提升在各种下游任务中的性能。
技术框架：Threads的整体框架包括以下几个主要阶段：1) 数据收集与预处理：收集大规模的H&E染色切片图像，并配对相应的基因组和转录组数据。2) 多模态预训练：使用对比学习或其他多模态学习方法，将图像特征与分子谱特征对齐，训练模型学习共享的表征空间。3) 下游任务微调：将预训练好的模型迁移到各种下游任务，如肿瘤亚型分类、突变预测等，并使用少量标注数据进行微调。
关键创新：Threads的关键创新在于其大规模的多模态预训练方法，利用了配对的H&E染色切片图像和分子谱数据。这种方法使得模型能够学习到组织切片图像与其底层分子组成之间的关联，从而生成更具信息量的图像表征。这是与现有方法的最大区别，现有方法通常只使用图像数据进行预训练，忽略了分子信息。
关键设计：Threads的具体网络结构未知，但可以推测其图像编码器可能采用卷积神经网络或Transformer结构，分子谱编码器可能采用全连接网络或Transformer结构。损失函数可能采用对比损失或三元组损失，以鼓励模型学习到图像特征与分子谱特征之间的相似性。具体的参数设置和网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
Threads在54个肿瘤学任务中表现出色，超越了所有基线模型。在临床亚型分类、分级、突变预测、免疫组织化学状态确定、治疗反应预测和生存预测等任务中，Threads均取得了显著的性能提升，尤其在预测罕见事件方面表现突出。这表明Threads具有强大的泛化能力和临床实用性。
🎯 应用场景
Threads具有广泛的应用前景，可用于肿瘤诊断、预后预测、治疗反应评估等。通过分析病理切片图像，医生可以利用Threads辅助进行肿瘤分型、分级，预测患者的生存期和对特定治疗方案的反应。此外，Threads还可以用于药物研发，帮助研究人员发现新的药物靶点和生物标志物。未来，Threads有望成为临床病理学家的重要辅助工具，提高诊断效率和准确性。
📄 摘要（原文）
Foundation models are reshaping computational pathology by enabling transfer learning, where models pre-trained on vast datasets can be adapted for downstream diagnostic, prognostic, and therapeutic response tasks. Despite these advances, foundation models are still limited in their ability to encode the entire gigapixel whole-slide images without additional training and often lack complementary multimodal data. Here, we introduce Threads, a slide-level foundation model capable of generating universal representations of whole-slide images of any size. Threads was pre-trained using a multimodal learning approach on a diverse cohort of 47,171 hematoxylin and eosin (H&E)-stained tissue sections, paired with corresponding genomic and transcriptomic profiles - the largest such paired dataset to be used for foundation model development to date. This unique training paradigm enables Threads to capture the tissue's underlying molecular composition, yielding powerful representations applicable to a wide array of downstream tasks. In extensive benchmarking across 54 oncology tasks, including clinical subtyping, grading, mutation prediction, immunohistochemistry status determination, treatment response prediction, and survival prediction, Threads outperformed all baselines while demonstrating remarkable generalizability and label efficiency. It is particularly well suited for predicting rare events, further emphasizing its clinical utility. We intend to make the model publicly available for the broader community.