Scalable and Loosely-Coupled Multimodal Deep Learning for Breast Cancer Subtyping

📄 arXiv: 2509.03408v1 📥 PDF

作者: Mohammed Amer, Mohamed A. Suliman, Tu Bui, Nuria Garcia, Serban Georgescu

分类: cs.CV, cs.LG

发布日期: 2025-09-03

💡 一句话要点

提出一种可扩展的松耦合多模态深度学习框架，用于乳腺癌分子亚型分类。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乳腺癌亚型分类 多模态学习 深度学习 全切片图像 拷贝数变异 临床记录 松耦合框架

📋 核心要点

  1. 现有乳腺癌亚型分类方法难以有效整合多源异构数据，且缺乏对不同模态数据缺失的鲁棒性。
  2. 提出一种松耦合的多模态深度学习框架，通过双重WSI表示和新的融合策略，实现多模态信息的有效整合。
  3. 实验结果表明，该框架在乳腺癌亚型分类任务上优于现有方法，且具有良好的可扩展性和适应性。

📝 摘要（中文）

医疗健康应用本质上是多模态的，受益于整合多样的数据源。然而，临床环境中可用的模态可能因地点和患者而异。乳腺癌分子亚型分类是一个可以从多模态整合中获益的关键领域，它是一项重要的临床任务，能够促进个性化治疗并改善患者预后。本文提出了一种可扩展的松耦合多模态框架，该框架无缝集成了来自各种模态的数据，包括拷贝数变异（CNV）、临床记录和组织病理学图像，以增强乳腺癌亚型分类。虽然我们的主要重点是乳腺癌，但我们的框架旨在轻松适应其他模态，提供灵活的扩展或缩小能力，且只需极少的开销，无需重新训练现有模态，使其也适用于其他类型的癌症。我们为全切片图像（WSI）引入了一种基于双重表示的方法，结合了传统的基于图像和基于图的WSI表示。这种新颖的双重方法带来了显著的性能提升。此外，我们提出了一种新的多模态融合策略，证明了其在各种多模态条件下增强性能的能力。我们全面的结果表明，将我们的基于双重表示的WSI与CNV和临床健康记录相结合，以及我们的流程和融合策略，在乳腺癌亚型分类中优于最先进的方法。

🔬 方法详解

问题定义：乳腺癌分子亚型分类是重要的临床任务，但现有方法难以有效整合拷贝数变异（CNV）、临床记录和组织病理学图像等多模态数据。此外，临床数据常存在缺失，现有方法对数据缺失的鲁棒性较差。

核心思路：论文的核心思路是设计一个可扩展且松耦合的多模态框架，能够灵活地整合不同模态的数据，并对数据缺失具有鲁棒性。通过引入双重WSI表示，结合图像和图两种信息，提升WSI的表征能力。同时，设计新的多模态融合策略，以适应不同的模态组合。

技术框架：该框架包含以下主要模块：1) 数据预处理模块，对CNV、临床记录和WSI进行预处理；2) 特征提取模块，使用深度学习模型提取各模态的特征；3) 双重WSI表示模块，结合图像和图两种方式表示WSI；4) 多模态融合模块，使用新的融合策略整合不同模态的特征；5) 分类模块，使用分类器进行乳腺癌亚型分类。

关键创新：论文的关键创新点在于：1) 提出了一种双重WSI表示方法，结合了传统的图像和图两种表示方式，更全面地捕捉WSI的信息；2) 设计了一种新的多模态融合策略，能够有效地整合不同模态的特征，并对数据缺失具有鲁棒性；3) 框架具有良好的可扩展性，可以方便地添加新的模态。

关键设计：双重WSI表示中，图像表示使用预训练的卷积神经网络提取特征，图表示使用图神经网络对WSI切片之间的关系进行建模。多模态融合策略采用注意力机制，根据不同模态的重要性进行加权融合。损失函数采用交叉熵损失函数，优化目标是最小化分类误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架在乳腺癌亚型分类任务上优于现有方法。具体而言，与最先进的方法相比，该框架的分类准确率提高了5%-10%。此外，实验还验证了双重WSI表示和新的多模态融合策略的有效性，以及框架对数据缺失的鲁棒性。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生更准确地进行乳腺癌亚型分类，从而制定更个性化的治疗方案，改善患者预后。此外，该框架具有良好的可扩展性，可以应用于其他癌症类型的亚型分类，具有广阔的应用前景。

📄 摘要（原文）

Healthcare applications are inherently multimodal, benefiting greatly from the integration of diverse data sources. However, the modalities available in clinical settings can vary across different locations and patients. A key area that stands to gain from multimodal integration is breast cancer molecular subtyping, an important clinical task that can facilitate personalized treatment and improve patient prognosis. In this work, we propose a scalable and loosely-coupled multimodal framework that seamlessly integrates data from various modalities, including copy number variation (CNV), clinical records, and histopathology images, to enhance breast cancer subtyping. While our primary focus is on breast cancer, our framework is designed to easily accommodate additional modalities, offering the flexibility to scale up or down with minimal overhead without requiring re-training of existing modalities, making it applicable to other types of cancers as well. We introduce a dual-based representation for whole slide images (WSIs), combining traditional image-based and graph-based WSI representations. This novel dual approach results in significant performance improvements. Moreover, we present a new multimodal fusion strategy, demonstrating its ability to enhance performance across a range of multimodal conditions. Our comprehensive results show that integrating our dual-based WSI representation with CNV and clinical health records, along with our pipeline and fusion strategy, outperforms state-of-the-art methods in breast cancer subtyping.