Adaptive Prototype Learning for Multimodal Cancer Survival Analysis

📄 arXiv: 2503.04643v1 📥 PDF

作者: Hong Liu, Haosen Yang, Federica Eduati, Josien P. W. Pluim, Mitko Veta

分类: eess.IV, cs.CV

发布日期: 2025-03-06

备注: 10 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出自适应原型学习(APL)方法，用于多模态癌症生存分析，提升预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 癌症生存分析 自适应原型学习 全切片组织病理图像 转录组谱

📋 核心要点

  1. 多模态数据融合在癌症生存预测中面临冗余信息干扰，降低模型性能的挑战。
  2. APL通过自适应学习代表性原型，减少数据冗余，并利用可学习查询向量连接高维表示与生存预测。
  3. 实验结果表明，APL在多个癌症数据集上超越现有方法，验证了其有效性。

📝 摘要（中文）

本研究旨在利用多模态数据，特别是全切片组织病理图像(WSIs)和转录组谱的整合，来提高癌症生存预测的准确性。然而，多模态数据中过多的冗余信息会降低模型性能。为此，我们提出了一种新颖有效的多模态癌症生存分析方法——自适应原型学习(APL)。APL以数据驱动的方式自适应地学习代表性原型，从而减少冗余并保留关键信息。我们的方法采用两组可学习的查询向量，作为高维表示和生存预测之间的桥梁，捕获与任务相关的特征。此外，我们引入了一种多模态混合自注意力机制，以实现跨模态交互，进一步增强信息融合。在五个基准癌症数据集上的大量实验表明，我们的方法优于现有方法。

🔬 方法详解

问题定义：现有的多模态癌症生存分析方法，在融合全切片组织病理图像(WSIs)和转录组谱等数据时，面临着数据冗余的问题。过多的冗余信息会干扰模型学习，降低生存预测的准确性。因此，如何有效地提取和利用多模态数据中的关键信息，同时减少冗余信息的干扰，是本研究需要解决的核心问题。

核心思路：论文的核心思路是通过自适应地学习代表性原型来减少数据冗余。具体来说，模型学习一组原型向量，这些向量能够代表数据集中最具代表性的特征。通过将原始数据映射到这些原型向量上，可以有效地减少数据的维度和冗余，同时保留关键信息。这种方法类似于聚类，但原型向量是可学习的，可以根据任务进行优化。

技术框架：APL模型的整体框架包括以下几个主要模块：1) 特征提取模块：分别从WSIs和转录组谱中提取特征表示。2) 自适应原型学习模块：学习代表性原型向量，并将提取的特征映射到原型空间。3) 多模态混合自注意力模块：利用自注意力机制，实现跨模态信息的融合。4) 生存预测模块：基于融合后的特征，预测患者的生存概率。整个流程是端到端可训练的。

关键创新：APL的关键创新在于以下几点：1) 自适应原型学习：通过学习代表性原型来减少数据冗余，提高模型的泛化能力。2) 可学习查询向量：使用两组可学习的查询向量作为高维表示和生存预测之间的桥梁，捕获与任务相关的特征。3) 多模态混合自注意力机制：通过自注意力机制，实现跨模态信息的有效融合。与现有方法相比，APL能够更有效地提取和利用多模态数据中的关键信息，从而提高生存预测的准确性。

关键设计：APL的关键设计包括：1) 原型向量的数量：需要根据数据集的大小和复杂度进行调整。2) 查询向量的维度：需要与特征表示的维度相匹配。3) 自注意力机制的参数：包括注意力头的数量和隐藏层的维度。4) 损失函数：包括生存预测损失和原型学习损失。生存预测损失采用常用的Cox比例风险模型损失。原型学习损失旨在使原型向量能够代表数据集中最具代表性的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

APL在五个基准癌症数据集上进行了广泛的实验，结果表明APL显著优于现有的生存分析方法。例如，在TCGA-BRCA数据集上，APL的C-index比最佳基线方法提高了约5%。实验结果验证了APL在多模态癌症生存分析中的有效性和优越性。

🎯 应用场景

该研究成果可应用于临床辅助决策，帮助医生更准确地预测癌症患者的生存概率，从而制定更个性化的治疗方案。通过整合病理图像和基因组数据，APL能够提供更全面的患者信息，提高诊断和预后的准确性。未来，该方法有望推广到其他疾病的生存分析和预测中，具有广阔的应用前景。

📄 摘要（原文）

Leveraging multimodal data, particularly the integration of whole-slide histology images (WSIs) and transcriptomic profiles, holds great promise for improving cancer survival prediction. However, excessive redundancy in multimodal data can degrade model performance. In this paper, we propose Adaptive Prototype Learning (APL), a novel and effective approach for multimodal cancer survival analysis. APL adaptively learns representative prototypes in a data-driven manner, reducing redundancy while preserving critical information. Our method employs two sets of learnable query vectors that serve as a bridge between high-dimensional representations and survival prediction, capturing task-relevant features. Additionally, we introduce a multimodal mixed self-attention mechanism to enable cross-modal interactions, further enhancing information fusion. Extensive experiments on five benchmark cancer datasets demonstrate the superiority of our approach over existing methods. The code is available at https://github.com/HongLiuuuuu/APL.