CanvOI, an Oncology Intelligence Foundation Model: Scaling FLOPS Differently
作者: Jonathan Zalach, Inbal Gazy, Assaf Avinoam, Ron Sinai, Eran Shmuel, Inbar Gilboa, Christine Swisher, Naim Matasci, Reva Basho, David B. Agus
分类: eess.IV, cs.CV
发布日期: 2024-09-04
备注: 12 pages, 5 figures
💡 一句话要点
CanvOI：一种肿瘤智能基础模型，通过差异化FLOPS扩展提升病理图像分析性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 肿瘤智能 数字病理学 基础模型 ViT 多示例学习
📋 核心要点
- 现有数字病理学AI工具受限于标记数据稀缺和临床问题复杂性，难以实现准确的概率预测。
- CanvOI通过调整输入图像特征，采用大尺寸切片和小尺寸patch，优化ViT模型在病理图像上的性能。
- 实验表明，CanvOI在癌症基准测试中超越现有模型，尤其在小样本训练下优势更明显。
📝 摘要（中文）
数字肿瘤病理学领域正快速发展，但面临诸多挑战，包括需要解决多样且复杂的临床问题，这些问题通常涉及罕见病症，且可用的标记数据有限。这些限制阻碍了生物医学领域中稳健的AI驱动工具的开发，而概率确定的准确性至关重要。为了解决这个问题，数字病理学基础模型开始出现，通常以预训练数据集的大小和多样性以及模型参数为考量。本文提出了CanvOI，一种基于ViT-g/10的基础模型，旨在通过不同的方法来增强数字病理学的能力，从而应对这些挑战。考虑到肿瘤组织病理学图像的独特性质，以及对嵌入的需求，以便为多示例学习（MIL）下游模型提供有意义的表示，我们选择修改输入图像的特征。通过引入更大的切片尺寸（380 x 380像素）和更小的patch尺寸（10 x 10像素），我们能够优化模型的性能，将计算资源推向新的方向，并在癌症相关基准测试中实现了最先进的性能。CanvOI在平均AUC方面比其他领先的数字病理学基础模型提高了1.5-7.4%。此外，我们的结果表明，CanvOI显著优于其他模型，并且当仅使用初始队列的10%进行训练时，性能差距会显著扩大。这项工作突出了一种替代方法，如果与传统的开发方法相结合，则有潜力推进肿瘤智能（OI），克服当前的一些障碍，并最终改善癌症患者的临床结果。
🔬 方法详解
问题定义：数字病理学领域面临着标记数据不足和临床问题复杂性的双重挑战。现有方法难以在罕见病症和复杂病例中实现准确的AI辅助诊断，严重制约了AI技术在肿瘤诊疗中的应用。现有方法通常侧重于增加预训练数据集的规模和模型参数，但忽略了病理图像本身的特性。
核心思路：CanvOI的核心思路是通过调整输入图像的特征来优化模型性能，而非单纯依赖扩大数据集和增加模型参数。具体而言，通过增大tile尺寸并减小patch尺寸，使模型能够更好地捕捉病理图像中的细微结构和上下文信息，从而提升模型在下游任务中的表现。
技术框架：CanvOI基于ViT-g/10架构，整体流程包括：1）输入图像切片：将原始病理图像分割成380x380像素的tile；2）patch嵌入：将每个tile分割成10x10像素的patch，并进行线性嵌入；3）Transformer编码：使用Transformer编码器学习patch之间的关系；4）下游任务：将学习到的嵌入用于多示例学习（MIL）等下游任务。
关键创新：CanvOI的关键创新在于其差异化的FLOPS扩展策略，即通过调整输入图像的tile和patch尺寸，而非单纯增加模型参数，来优化模型性能。这种方法更符合病理图像的特性，能够更有效地利用计算资源。
关键设计：CanvOI的关键设计包括：1）采用380x380像素的大tile尺寸，以保留更多的上下文信息；2）采用10x10像素的小patch尺寸，以捕捉更细微的结构特征；3）使用ViT-g/10作为基础架构，该架构具有较强的表征学习能力；4）针对多示例学习（MIL）等下游任务进行优化。
📊 实验亮点
CanvOI在癌症相关基准测试中取得了显著的性能提升，平均AUC比其他领先的数字病理学基础模型提高了1.5-7.4%。更重要的是，当仅使用初始队列的10%进行训练时，CanvOI的性能优势更加明显，表明其具有更强的泛化能力和对小样本数据的适应性。
🎯 应用场景
CanvOI有望应用于肿瘤诊断、预后预测和治疗方案选择等领域。通过提供更准确的病理图像分析结果，CanvOI可以辅助医生进行更精准的诊断，并为患者提供更个性化的治疗方案。未来，CanvOI还可以与其他临床数据相结合，构建更全面的肿瘤智能系统，从而改善癌症患者的临床结局。
📄 摘要（原文）
The rapidly evolving field of digital oncopathology faces significant challenges, including the need to address diverse and complex clinical questions, often involving rare conditions, with limited availability of labeled data. These limitations hinder the development of robust AI-driven tools in the biomedical space, where accuracy in probabilistic determinations is of utmost importance. To address this, digital pathology foundation models have begun to emerge, typically developed with the size and diversity of the pre-training dataset and model parameters in mind. Here, we present CanvOI, a ViT-g/10-based foundation model designed to enhance the capabilities of digital pathology by addressing these challenges through a different approach. Considering the unique nature of oncologic histopathological images and the requirements from the embeddings to provide meaningful representations for Multiple Instance Learning (MIL) downstream models, we chose to modify the input image characteristics. By introducing larger tile sizes (380 x 380 pixels) and smaller patch sizes (10 x 10 pixels), we were able to optimize the model's performance, pushing computational resources in a new direction and achieving state-of-the-art performance on cancer-related benchmarks. CanvOI demonstrated a 1.5-7.4% improvement in averaged AUC compared to other leading foundation models built for digital pathology. Moreover, our results demonstrate that CanvOI significantly outperformed the other models, with the performance gap widening substantially when trained on just 10% of the initial cohort. This work highlights an alternative approach that, if integrated with traditional development approaches, has the potential to advance Oncology Intelligence (OI), overcome some of the current barriers and ultimately improve the clinical outcome of cancer patients.