Deep Survival Analysis in Multimodal Medical Data: A Parametric and Probabilistic Approach with Competing Risks

📄 arXiv: 2507.07804v1 📥 PDF

作者: Alba Garrido, Alejandro Almodóvar, Patricia A. Apellániz, Juan Parras, Santiago Zazo

分类: cs.LG

发布日期: 2025-07-10

备注: 29 pages, 9 Figures

💡 一句话要点

提出SAMVAE，一种用于多模态医学数据生存分析的参数化概率深度学习框架，支持竞争风险建模。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生存分析 多模态学习 深度学习 变分自编码器 竞争风险 医学图像分析 肿瘤预后

📋 核心要点

  1. 传统生存分析方法依赖单一数据模态，无法充分捕捉肿瘤生物学的复杂性，限制了预测的准确性。
  2. SAMVAE通过多模态变分自编码器，将临床变量、分子谱和病理图像等多源数据整合到共享潜在空间，实现更鲁棒的生存预测。
  3. 实验结果表明，SAMVAE在乳腺癌和低级别胶质瘤数据集上，实现了与现有最佳模型相当甚至更优的性能，并支持竞争风险分析。

📝 摘要（中文）

精确的生存预测在肿瘤学中对于预后和治疗计划至关重要。传统方法通常依赖于单一数据模态，限制了它们捕捉肿瘤生物学复杂性的能力。为了解决这个挑战，我们引入了一个多模态深度学习框架，用于生存分析，能够建模单风险和竞争风险场景，评估整合多个医学数据源对生存预测的影响。我们提出了SAMVAE（生存分析多模态变分自编码器），一种为生存预测设计的新型深度学习架构，集成了六种数据模态：临床变量、四种分子谱和组织病理学图像。SAMVAE利用模态特定的编码器将输入投影到共享的潜在空间中，从而实现稳健的生存预测，同时保留模态特定的信息。其参数化公式能够从输出分布中推导出临床上有意义的统计数据，通过交互式多媒体提供患者特定的见解，从而有助于更明智的临床决策，并为肿瘤学中可解释的、数据驱动的生存分析奠定基础。我们在乳腺癌和低级别胶质瘤两个癌症队列上评估了SAMVAE，应用了定制的预处理、降维和超参数优化。结果表明，多模态数据成功地整合到不同数据集的标准生存分析和竞争风险场景中。我们的模型与最先进的多模态生存模型相比，取得了具有竞争力的性能。值得注意的是，这是第一个参数化的多模态深度学习架构，它在对特定事件的连续时间进行建模时，同时结合了竞争风险，并使用了表格数据和图像数据。

🔬 方法详解

问题定义：论文旨在解决肿瘤学中生存分析预测精度不足的问题。现有方法主要依赖单一模态数据，忽略了肿瘤生物学的复杂性，无法充分利用多源医学数据（如临床数据、分子谱、病理图像）之间的互补信息。此外，现有方法在处理竞争风险（即多种原因可能导致事件发生）时存在局限性。

核心思路：论文的核心思路是利用多模态深度学习，将不同来源的医学数据整合到一个统一的框架中，从而更全面地刻画肿瘤的特征，提高生存预测的准确性。通过构建共享的潜在空间，模型能够学习不同模态之间的关联，并提取出对生存预测有用的信息。同时，采用参数化的概率模型，可以对生存时间分布进行建模，并支持竞争风险分析。

技术框架：SAMVAE (Survival Analysis Multimodal Variational Autoencoder) 的整体架构是一个多模态变分自编码器。它包含以下主要模块：1) 模态特定编码器：针对每种数据模态（临床变量、分子谱、病理图像）设计独立的编码器，将输入数据映射到潜在空间。2) 共享潜在空间：所有模态的编码器都将数据投影到同一个潜在空间，从而实现多模态信息的融合。3) 生存预测模块：基于潜在空间的表示，预测生存时间分布。4) 竞争风险建模模块：扩展生存预测模块，支持对多种竞争风险进行建模。

关键创新：SAMVAE的关键创新在于：1) 首次将多模态深度学习应用于生存分析，并同时支持标准生存分析和竞争风险分析。2) 提出了一种参数化的概率模型，可以对生存时间分布进行建模，并从中推导出临床上有意义的统计数据。3) 设计了一种新的深度学习架构，能够有效地整合多种医学数据模态，并保留模态特定的信息。

关键设计：SAMVAE的关键设计包括：1) 模态特定编码器的选择：根据不同模态的数据特点，选择合适的编码器结构（例如，全连接网络用于临床数据，卷积神经网络用于病理图像）。2) 损失函数的设计：采用变分自编码器的标准损失函数，包括重构损失和KL散度，以及生存分析相关的损失函数（例如，Cox比例风险损失）。3) 超参数优化：采用网格搜索或贝叶斯优化等方法，对模型的超参数进行优化，以获得最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAMVAE在乳腺癌和低级别胶质瘤数据集上进行了评估，结果表明其性能与最先进的多模态生存模型相当甚至更优。特别是在竞争风险分析方面，SAMVAE能够有效地建模多种风险因素，并提供更准确的生存预测。该模型是第一个参数化的多模态深度学习架构，它在对特定事件的连续时间进行建模时，同时结合了竞争风险，并使用了表格数据和图像数据。

🎯 应用场景

该研究成果可应用于肿瘤的精准医疗，辅助医生进行预后评估和治疗方案制定。通过整合多模态医学数据，SAMVAE能够提供更准确的生存预测，并揭示不同数据模态之间的关联，为临床决策提供更全面的信息。未来，该方法有望推广到其他疾病的生存分析，并促进个性化医疗的发展。

📄 摘要（原文）

Accurate survival prediction is critical in oncology for prognosis and treatment planning. Traditional approaches often rely on a single data modality, limiting their ability to capture the complexity of tumor biology. To address this challenge, we introduce a multimodal deep learning framework for survival analysis capable of modeling both single and competing risks scenarios, evaluating the impact of integrating multiple medical data sources on survival predictions. We propose SAMVAE (Survival Analysis Multimodal Variational Autoencoder), a novel deep learning architecture designed for survival prediction that integrates six data modalities: clinical variables, four molecular profiles, and histopathological images. SAMVAE leverages modality specific encoders to project inputs into a shared latent space, enabling robust survival prediction while preserving modality specific information. Its parametric formulation enables the derivation of clinically meaningful statistics from the output distributions, providing patient-specific insights through interactive multimedia that contribute to more informed clinical decision-making and establish a foundation for interpretable, data-driven survival analysis in oncology. We evaluate SAMVAE on two cancer cohorts breast cancer and lower grade glioma applying tailored preprocessing, dimensionality reduction, and hyperparameter optimization. The results demonstrate the successful integration of multimodal data for both standard survival analysis and competing risks scenarios across different datasets. Our model achieves competitive performance compared to state-of-the-art multimodal survival models. Notably, this is the first parametric multimodal deep learning architecture to incorporate competing risks while modeling continuous time to a specific event, using both tabular and image data.