Going Beyond H&E and Oncology: How Do Histopathology Foundation Models Perform for Multi-stain IHC and Immunology?

📄 arXiv: 2410.21560v1 📥 PDF

作者: Amaya Gallagher-Syed, Elena Pontarini, Myles J. Lewis, Michael R. Barnes, Gregory Slabaugh

分类: cs.CV, cs.AI, q-bio.QM, q-bio.TO

发布日期: 2024-10-28

备注: Accepted at Workshop on Advancements In Medical Foundation Models (NeurIPS 2024)

🔗 代码/项目: GITHUB

💡 一句话要点

评估组织病理学基础模型在多染色免疫组化和免疫学上的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组织病理学 基础模型 免疫组化 自身免疫疾病 迁移学习

📋 核心要点

  1. 现有组织病理学模型主要集中于癌症H&E染色图像，缺乏对多染色免疫组化图像的有效泛化能力。
  2. 该研究通过比较多种预训练模型在自身免疫疾病数据集上的表现，评估了模型在不同染色和疾病类型间的知识迁移能力。
  3. 实验结果表明，组织病理学预训练模型并未显著优于ImageNet预训练模型，揭示了跨领域知识迁移的挑战。

📝 摘要（中文）

本研究评估了最先进的组织病理学基础模型在超出分布范围的多染色自身免疫免疫组化数据集上的泛化能力。我们比较了13个特征提取模型，包括ImageNet预训练网络，以及在公共和专有数据上训练的组织病理学基础模型，用于类风湿性关节炎亚型分类和干燥综合征检测任务。通过使用一个简单的基于注意力的多示例学习分类器，我们评估了从癌症H&E图像到自身免疫IHC图像的表征迁移能力。与预期相反，组织病理学预训练模型并没有显著优于ImageNet预训练模型。此外，还存在自身免疫特征误解和有偏见的特征重要性的证据。我们的研究结果突出了从癌症到自身免疫组织病理学知识迁移的挑战，并强调了在不同的组织病理学任务中仔细评估AI模型的必要性。该基准测试的代码可在https://github.com/AmayaGS/ImmunoHistoBench获得。

🔬 方法详解

问题定义：该论文旨在评估组织病理学基础模型在处理超出其训练分布范围的、多染色自身免疫免疫组化（IHC）图像时的泛化能力。现有方法主要集中在癌症H&E染色图像上，缺乏对其他染色方法和疾病类型的有效适应性，导致在自身免疫疾病诊断等任务中表现不佳。

核心思路：论文的核心思路是通过比较不同预训练模型（包括ImageNet预训练模型和组织病理学预训练模型）在自身免疫疾病数据集上的表现，来评估这些模型在不同染色方法和疾病类型之间的知识迁移能力。通过分析模型的特征提取能力和分类性能，揭示模型在跨领域应用中存在的局限性和挑战。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择13个不同的特征提取模型，包括ImageNet预训练模型和组织病理学预训练模型；2) 使用这些模型提取自身免疫IHC图像的特征；3) 使用基于注意力的多示例学习（Attention-Based Multiple Instance Learning, MIL）分类器对提取的特征进行分类，完成类风湿性关节炎亚型分类和干燥综合征检测任务；4) 比较不同模型的分类性能，分析其泛化能力和知识迁移效果。

关键创新：该研究的关键创新在于对组织病理学基础模型在自身免疫疾病IHC图像上的泛化能力进行了系统的评估。与以往研究主要关注癌症H&E图像不同，该研究关注了多染色IHC图像，并揭示了组织病理学预训练模型在跨领域应用中存在的局限性。此外，研究还发现了自身免疫特征误解和有偏见的特征重要性等问题，为后续研究提供了重要的参考。

关键设计：研究中使用了基于注意力的多示例学习分类器，该分类器能够有效地处理组织病理学图像中的复杂结构和异质性。此外，研究还仔细选择了用于评估的数据集，包括类风湿性关节炎和干燥综合征等自身免疫疾病的IHC图像，以确保评估结果的可靠性和代表性。具体的参数设置和网络结构等技术细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，组织病理学预训练模型在自身免疫IHC图像上的表现并未显著优于ImageNet预训练模型。这表明从癌症H&E图像学习到的知识难以直接迁移到自身免疫IHC图像上。此外，研究还发现模型存在自身免疫特征误解和有偏见的特征重要性等问题，为后续研究提供了重要的方向。

🎯 应用场景

该研究的成果可应用于改进自身免疫疾病的诊断和亚型分类，通过开发更具泛化能力的组织病理学模型，提高诊断的准确性和效率。此外，该研究也为开发更通用的医学图像分析模型提供了参考，有助于推动人工智能在医疗领域的应用。

📄 摘要（原文）

This study evaluates the generalisation capabilities of state-of-the-art histopathology foundation models on out-of-distribution multi-stain autoimmune Immunohistochemistry datasets. We compare 13 feature extractor models, including ImageNet-pretrained networks, and histopathology foundation models trained on both public and proprietary data, on Rheumatoid Arthritis subtyping and Sjogren's Disease detection tasks. Using a simple Attention-Based Multiple Instance Learning classifier, we assess the transferability of learned representations from cancer H&E images to autoimmune IHC images. Contrary to expectations, histopathology-pretrained models did not significantly outperform ImageNet-pretrained models. Furthermore, there was evidence of both autoimmune feature misinterpretation and biased feature importance. Our findings highlight the challenges in transferring knowledge from cancer to autoimmune histopathology and emphasise the need for careful evaluation of AI models across diverse histopathological tasks. The code to run this benchmark is available at https://github.com/AmayaGS/ImmunoHistoBench.