Leveraging Medical Foundation Model Features in Graph Neural Network-Based Retrieval of Breast Histopathology Images
作者: Nematollah Saeidi, Hossein Karshenas, Bijan Shoushtarian, Sepideh Hatamikia, Ramona Woitek, Amirreza Mahbod
分类: cs.CV
发布日期: 2024-05-07 (更新: 2024-12-12)
备注: 29 pages
💡 一句话要点
利用医学预训练模型特征，提出基于图神经网络的乳腺组织病理图像检索方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 乳腺组织病理图像检索 图神经网络 医学预训练模型 注意力机制 对抗正则化 变分图自编码器 深度学习 计算机辅助诊断
📋 核心要点
- 组织病理图像检索面临组织和细胞模式差异大的挑战，现有方法难以实现精确检索。
- 利用医学预训练模型提取特征，并结合注意力机制和对抗正则化的变分图自编码器进行图像检索。
- 实验结果表明，使用预训练模型特征训练的模型性能优于传统CNN，UNI特征表现最佳，mAP和mMV指标显著提升。
📝 摘要（中文）
乳腺癌是全球女性最常见的癌症类型。早期检测和适当治疗可以显著降低其影响。组织病理学检查在快速准确诊断中起着至关重要的作用，但通常需要经验丰富的医学专家进行正确的识别和癌症分级。自动图像检索系统有潜力协助病理学家识别癌变组织，从而加速诊断过程。然而，由于组织和细胞模式的巨大差异，提出一种精确的图像检索模型具有挑战性。本文提出了一种基于注意力机制的对抗正则化变分图自编码器模型，利用医学预训练模型中的特征进行乳腺组织病理图像检索。结果表明，与使用预训练卷积神经网络的模型相比，使用预训练模型特征训练的模型性能更优（mAP和mMV分别高达7.7%和15.5%），其中用于计算病理学的预训练通用自监督模型（UNI）提供了最佳的整体性能。通过评估两个公开的乳腺癌组织学图像数据集，我们性能最佳的模型（使用UNI特征训练）在BreakHis和BACH数据集上分别实现了96.7%/91.5%和97.6%/94.2%的平均mAP/mMV分数。我们提出的检索模型有潜力在临床环境中用于提高诊断性能，并最终使患者受益。
🔬 方法详解
问题定义：论文旨在解决乳腺组织病理图像检索问题。现有方法，如基于传统卷积神经网络的特征提取方法，难以有效捕捉组织病理图像中复杂的组织和细胞模式，导致检索精度不高。病理图像的巨大变异性进一步加剧了这一问题。
核心思路：论文的核心思路是利用医学领域的预训练模型（Foundation Model）提取更具代表性的图像特征，并结合图神经网络（GNN）来建模图像之间的关系，从而提高检索的准确性。通过预训练模型学习到的通用病理知识，可以更好地应对组织病理图像的变异性。
技术框架：该方法的技术框架主要包括以下几个阶段：1) 使用医学预训练模型（如UNI）提取乳腺组织病理图像的特征；2) 构建图神经网络，其中节点代表图像，边代表图像之间的相似性；3) 使用注意力机制来学习不同节点的重要性，从而更好地聚合邻居节点的信息；4) 采用对抗正则化变分图自编码器（Adversarially Regularized Variational Graph Autoencoder）来学习图像的潜在表示，并提高模型的鲁棒性。
关键创新：该论文的关键创新在于：1) 将医学预训练模型引入到乳腺组织病理图像检索任务中，利用预训练模型学习到的通用病理知识；2) 提出了一种基于注意力机制的对抗正则化变分图自编码器模型，能够有效地建模图像之间的关系，并提高模型的鲁棒性。
关键设计：在图神经网络中，使用了注意力机制来学习不同节点的重要性，注意力权重由节点特征之间的相似性决定。对抗正则化变分图自编码器的损失函数包括重构损失、KL散度损失和对抗损失。重构损失用于保证图像能够从潜在表示中重建，KL散度损失用于约束潜在表示的分布，对抗损失用于提高模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用医学预训练模型（特别是UNI）提取特征的模型，在BreakHis和BACH两个公开数据集上均取得了显著的性能提升。在BreakHis数据集上，使用UNI特征训练的模型达到了96.7%的mAP和91.5%的mMV；在BACH数据集上，达到了97.6%的mAP和94.2%的mMV。与使用预训练卷积神经网络的模型相比，mAP和mMV分别提升了高达7.7%和15.5%。
🎯 应用场景
该研究成果可应用于临床辅助诊断，帮助病理学家快速准确地识别癌变组织，减少诊断时间，提高诊断准确率，从而为患者提供更及时有效的治疗方案。此外，该方法还可以扩展到其他医学图像检索任务中，具有广泛的应用前景。
📄 摘要（原文）
Breast cancer is the most common cancer type in women worldwide. Early detection and appropriate treatment can significantly reduce its impact. While histopathology examinations play a vital role in rapid and accurate diagnosis, they often require experienced medical experts for proper recognition and cancer grading. Automated image retrieval systems have the potential to assist pathologists in identifying cancerous tissues, thereby accelerating the diagnostic process. Nevertheless, proposing an accurate image retrieval model is challenging due to considerable variability among the tissue and cell patterns in histological images. In this work, we leverage the features from foundation models in a novel attention-based adversarially regularized variational graph autoencoder model for breast histological image retrieval. Our results confirm the superior performance of models trained with foundation model features compared to those using pre-trained convolutional neural networks (up to 7.7% and 15.5% for mAP and mMV, respectively), with the pre-trained general-purpose self-supervised model for computational pathology (UNI) delivering the best overall performance. By evaluating two publicly available histology image datasets of breast cancer, our top-performing model, trained with UNI features, achieved average mAP/mMV scores of 96.7%/91.5% and 97.6%/94.2% for the BreakHis and BACH datasets, respectively. Our proposed retrieval model has the potential to be used in clinical settings to enhance diagnostic performance and ultimately benefit patients.