IHC Matters: Incorporating IHC analysis to H&E Whole Slide Image Analysis for Improved Cancer Grading via Two-stage Multimodal Bilinear Pooling Fusion

📄 arXiv: 2405.08197v1 📥 PDF

作者: Jun Wang, Yu Mao, Yufei Cui, Nan Guan, Chun Jason Xue

分类: cs.CV

发布日期: 2024-05-13

💡 一句话要点

提出双阶段多模态双线性池化融合模型，利用IHC提升H&E图像癌症分级

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 癌症分级 免疫组织化学 苏木精-伊红染色 多模态融合 双线性池化 病理图像分析 深度学习

📋 核心要点

  1. 现有方法在癌症分级中较少考虑IHC信息，忽略了其与H&E图像的互补性。
  2. 提出一种双阶段多模态双线性模型，有效融合IHC和H&E图像的特征表示，提升分级性能。
  3. 实验结果表明，该模型在癌症分级任务中表现优异，在BCI数据集上取得了显著的准确率提升。

📝 摘要（中文）

免疫组织化学(IHC)在病理学中起着关键作用，它可以检测组织样本中蛋白质的过度表达。然而，关于IHC对准确癌症分级影响的机器学习模型研究仍然较少。我们发现IHC和H&E在具有某些互补性质的同时，也具有明显的优点和缺点。基于这一观察，我们开发了一个具有特征池化模块的两阶段多模态双线性模型。该模型旨在最大限度地发挥IHC和HE特征表示的潜力，从而与单独使用它们相比，获得更好的性能。我们的实验表明，将IHC数据与H&E染色图像一起纳入机器学习模型，可以为癌症分级带来更优越的预测结果。所提出的框架在公共数据集BCI上实现了高达0.953的ACC。

🔬 方法详解

问题定义：论文旨在解决癌症分级任务中，如何有效利用免疫组织化学(IHC)信息来提升模型性能的问题。现有方法主要依赖于苏木精-伊红(H&E)染色图像，忽略了IHC在蛋白质表达检测方面的优势，未能充分挖掘IHC与H&E图像之间的互补信息。这导致模型在复杂病例中的分级精度受限。

核心思路：论文的核心思路是设计一个多模态融合框架，将IHC和H&E图像的特征进行有效整合。通过双线性池化操作，捕捉两种模态之间的交互关系，从而提升模型对癌症分级的判别能力。该方法充分利用了IHC在蛋白质表达方面的特异性信息，弥补了H&E图像的不足。

技术框架：该框架采用两阶段的多模态双线性池化结构。第一阶段，分别提取H&E和IHC图像的特征。第二阶段，利用双线性池化模块融合两种模态的特征，并通过特征池化模块进一步提取关键特征。最后，将融合后的特征输入分类器进行癌症分级。整体流程包括特征提取、模态融合和分类三个主要步骤。

关键创新：该论文的关键创新在于提出了一个两阶段的多模态双线性池化融合模型。该模型能够有效地融合IHC和H&E图像的特征，充分利用两种模态的互补信息。与传统的单模态方法相比，该模型能够更准确地进行癌症分级。此外，双线性池化操作能够捕捉两种模态之间的复杂交互关系，进一步提升模型的性能。

关键设计：在特征提取阶段，可以使用预训练的卷积神经网络（如ResNet）提取H&E和IHC图像的特征。双线性池化模块可以使用外积或克罗内克积等操作来实现。特征池化模块可以使用最大池化或平均池化等方法来提取关键特征。损失函数可以使用交叉熵损失函数，并结合正则化项来防止过拟合。具体的网络结构和参数设置需要根据具体的数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该模型在公共数据集BCI上取得了显著的性能提升，准确率高达0.953。与仅使用H&E图像的模型相比，该模型能够更准确地进行癌症分级。该结果验证了IHC信息在癌症分级中的重要性，以及所提出的多模态融合方法的有效性。

🎯 应用场景

该研究成果可应用于计算机辅助病理诊断，辅助病理医生进行更准确、高效的癌症分级。通过整合IHC和H&E图像信息，有望提高早期癌症的检出率，为患者提供更及时的治疗方案。未来，该技术还可扩展到其他疾病的诊断和分级，具有广阔的应用前景。

📄 摘要（原文）

Immunohistochemistry (IHC) plays a crucial role in pathology as it detects the over-expression of protein in tissue samples. However, there are still fewer machine learning model studies on IHC's impact on accurate cancer grading. We discovered that IHC and H\&E possess distinct advantages and disadvantages while possessing certain complementary qualities. Building on this observation, we developed a two-stage multi-modal bilinear model with a feature pooling module. This model aims to maximize the potential of both IHC and HE's feature representation, resulting in improved performance compared to their individual use. Our experiments demonstrate that incorporating IHC data into machine learning models, alongside H\&E stained images, leads to superior predictive results for cancer grading. The proposed framework achieves an impressive ACC higher of 0.953 on the public dataset BCI.