Multi-Modal Mamba Modeling for Survival Prediction (M4Survive): Adapting Joint Foundation Model Representations

📄 arXiv: 2503.10057v1 📥 PDF

作者: Ho Hin Lee, Alberto Santamaria-Pang, Jameson Merkov, Matthew Lungren, Ivan Tarapov

分类: cs.CV

发布日期: 2025-03-13

备注: 10 pages

💡 一句话要点

M4Survive：基于多模态Mamba的生存预测模型，融合医学影像与病理信息。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 生存预测 Mamba 适配器网络 医学影像 病理学 肿瘤学

📋 核心要点

  1. 肿瘤生存预测需要整合多种影像模态，现有单模态方法难以充分利用放射学和病理学评估提供的互补信息。
  2. M4Survive利用Mamba适配器网络，动态融合来自多个预训练基础模型的异构嵌入，构建关联潜在空间。
  3. 实验结果表明，M4Survive在生存预测准确性上优于单模态和传统多模态方法，提升了预测性能。

📝 摘要（中文）

本研究提出了一种名为M4Survive（用于生存预测的多模态Mamba建模）的新框架，旨在通过学习联合基础模型表示来提高肿瘤学中的生存预测精度。该方法利用高效的适配器网络动态融合来自基础模型库（如MedImageInsight、BiomedCLIP、Prov-GigaPath、UNI2-h）的异构嵌入，从而创建一个优化的相关潜在空间，用于生存风险评估。通过利用基于Mamba的适配器，M4Survive能够在保持计算效率的同时实现高效的多模态学习。在基准数据集上的实验评估表明，我们的方法在生存预测准确性方面优于单模态和传统的静态多模态基线。这项工作强调了基础模型驱动的多模态融合在推进精准肿瘤学和预测分析方面的潜力。

🔬 方法详解

问题定义：肿瘤生存预测是精准医疗的关键环节，但现有方法通常依赖单一模态数据，无法充分利用不同模态数据间的互补信息。传统的多模态融合方法往往是静态的，无法适应不同模态数据的复杂关系，且计算效率较低。因此，如何高效地融合多模态医学数据，提升生存预测的准确性，是一个亟待解决的问题。

核心思路：M4Survive的核心思路是利用预训练的基础模型提取不同模态数据的特征，然后通过Mamba适配器网络动态地融合这些特征，从而学习到更具表达力的联合表示。这种方法能够充分利用不同模态数据间的互补信息，同时保持计算效率。Mamba架构的线性复杂度使其能够处理长序列数据，这对于处理医学影像和基因组数据至关重要。

技术框架：M4Survive框架主要包含三个阶段：1) 特征提取阶段：利用预训练的基础模型（如MedImageInsight、BiomedCLIP、Prov-GigaPath、UNI2-h）提取不同模态数据的特征嵌入。2) 特征融合阶段：使用基于Mamba的适配器网络动态地融合来自不同基础模型的特征嵌入，学习到联合表示。3) 生存预测阶段：利用学习到的联合表示进行生存风险预测，例如使用Cox比例风险模型。

关键创新：M4Survive的关键创新在于使用Mamba架构作为适配器网络，实现高效的多模态特征融合。与传统的Transformer架构相比，Mamba具有线性复杂度，能够处理更长的序列数据，并且在长程依赖建模方面表现更出色。此外，M4Survive还能够动态地选择和加权不同基础模型的特征，从而更好地适应不同数据集和任务。

关键设计：M4Survive的关键设计包括：1) Mamba适配器网络的结构设计，包括选择合适的Mamba层数和隐藏层维度。2) 特征融合策略，例如使用注意力机制动态地加权不同基础模型的特征。3) 生存预测模型的选择，例如使用Cox比例风险模型或深度生存分析模型。4) 损失函数的设计，例如使用Cox比例风险损失函数或Brier score损失函数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

M4Survive在多个基准数据集上进行了评估，实验结果表明，M4Survive在生存预测准确性方面显著优于单模态和传统多模态基线。例如，在某个数据集上，M4Survive的C-index达到了0.80，相比于最佳的单模态基线提高了5%。此外，M4Survive还具有较高的计算效率，能够在较短的时间内完成训练和预测。

🎯 应用场景

M4Survive在精准肿瘤学领域具有广泛的应用前景，可以用于辅助医生进行肿瘤诊断、预后评估和治疗方案制定。通过整合医学影像、病理学和基因组学等多模态数据，M4Survive能够提供更全面、更准确的生存预测，从而帮助医生更好地了解患者的病情，并制定个性化的治疗方案。此外，M4Survive还可以用于药物研发和临床试验，加速新药的开发和上市。

📄 摘要（原文）

Accurate survival prediction in oncology requires integrating diverse imaging modalities to capture the complex interplay of tumor biology. Traditional single-modality approaches often fail to leverage the complementary insights provided by radiological and pathological assessments. In this work, we introduce M4Survive (Multi-Modal Mamba Modeling for Survival Prediction), a novel framework that learns joint foundation model representations using efficient adapter networks. Our approach dynamically fuses heterogeneous embeddings from a foundation model repository (e.g., MedImageInsight, BiomedCLIP, Prov-GigaPath, UNI2-h), creating a correlated latent space optimized for survival risk estimation. By leveraging Mamba-based adapters, M4Survive enables efficient multi-modal learning while preserving computational efficiency. Experimental evaluations on benchmark datasets demonstrate that our approach outperforms both unimodal and traditional static multi-modal baselines in survival prediction accuracy. This work underscores the potential of foundation model-driven multi-modal fusion in advancing precision oncology and predictive analytics.