Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder
作者: Junjie Zhou, Jiao Tang, Yingli Zuo, Peng Wan, Daoqiang Zhang, Wei Shao
分类: cs.CV
发布日期: 2025-03-12 (更新: 2025-03-18)
备注: Accepted by CVPR2025
💡 一句话要点
提出LD-CVAE模型，用于解决癌症生存预测中基因组数据缺失情况下的鲁棒多模态分析问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 生存预测 变分自编码器 病理图像分析 基因组数据 数据缺失 癌症诊断
📋 核心要点
- 现有癌症生存预测方法通常假设所有模态数据可用，但基因组数据采集成本高，常有缺失，影响预测准确性。
- 提出LD-CVAE模型，利用病理图像生成基因组表示，并学习基因组嵌入的共同和特定后验，实现鲁棒预测。
- 实验结果表明，该方法在完整和缺失模态场景下均表现出优越性，验证了其有效性和泛化能力。
📝 摘要（中文）
组织病理学图像和基因组数据的整合分析在人类癌症的生存预测中受到了越来越多的关注。然而，现有的研究通常假设所有模态的数据都是可用的。事实上，收集基因组数据的成本很高，这有时会导致测试样本中基因组数据不可用。解决这种不完整性的常见方法是从病理图像生成基因组表示。然而，这种策略仍然面临以下两个挑战：（1）千兆像素的全切片图像（WSI）非常大，因此难以表示。（2）难以在统一的生成框架中生成具有不同功能类别的基因组嵌入。为了解决上述挑战，我们提出了一种条件潜在差异变分自编码器（LD-CVAE），用于鲁棒的多模态生存预测，即使在基因组数据缺失的情况下也是如此。具体来说，我们提出了一个变分信息瓶颈Transformer（VIB-Trans）模块，用于从千兆像素的WSI中学习压缩的病理表示。为了生成不同的功能基因组特征，我们开发了一种新的潜在差异变分自编码器（LD-VAE），以学习具有不同功能的基因组嵌入的共同和特定后验。最后，我们使用专家乘积技术来整合基因组共同后验和图像后验，以进行LD-CVAE中的联合潜在分布估计。我们在五个不同的癌症数据集上测试了我们方法的有效性，实验结果表明了其在完整和缺失模态场景中的优越性。
🔬 方法详解
问题定义：现有癌症生存预测方法依赖于完整的基因组和病理图像数据，但基因组数据获取成本高昂，导致数据缺失问题普遍存在。现有方法难以有效处理基因组数据缺失的情况，导致预测性能下降。此外，如何从病理图像中生成具有不同功能类别的基因组嵌入也是一个挑战。
核心思路：论文的核心思路是利用条件变分自编码器（CVAE）框架，通过病理图像生成缺失的基因组数据，并学习基因组嵌入的共同和特定后验分布。通过这种方式，即使在基因组数据缺失的情况下，也能利用病理图像的信息进行准确的生存预测。该方法旨在解决多模态数据不完整性问题，提高生存预测的鲁棒性。
技术框架：该方法主要包含以下几个模块：1) VIB-Trans模块：用于从千兆像素的WSI中学习压缩的病理表示。2) LD-VAE模块：用于学习具有不同功能的基因组嵌入的共同和特定后验。3) LD-CVAE框架：整合基因组共同后验和图像后验，进行联合潜在分布估计。整体流程是，首先使用VIB-Trans提取病理图像特征，然后使用LD-VAE生成基因组特征，最后将两者融合进行生存预测。
关键创新：该方法的主要创新点在于：1) 提出了VIB-Trans模块，用于高效地从高分辨率病理图像中提取特征。2) 提出了LD-VAE模块，用于学习基因组嵌入的共同和特定后验分布，从而生成具有不同功能的基因组特征。3) 提出了LD-CVAE框架，通过整合基因组和图像信息，实现鲁棒的生存预测。
关键设计：VIB-Trans模块采用了Transformer结构，并结合了变分信息瓶颈（VIB）技术，以学习压缩的病理表示。LD-VAE模块采用了变分自编码器（VAE）结构，并引入了潜在差异（Latent Differentiation）机制，以学习基因组嵌入的共同和特定后验。LD-CVAE框架使用了专家乘积（Product-of-Experts）技术，以整合基因组共同后验和图像后验。
🖼️ 关键图片
📊 实验亮点
该方法在五个不同的癌症数据集上进行了测试，实验结果表明，即使在基因组数据缺失的情况下，该方法也能取得优越的生存预测性能。相较于现有方法，该方法在完整和缺失模态场景下均有显著提升，验证了其鲁棒性和有效性。具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于临床辅助诊断，帮助医生在基因组数据不完整的情况下，利用病理图像进行更准确的癌症生存预测，从而制定更有效的治疗方案。此外，该方法也可推广到其他多模态数据分析场景，例如医学影像和临床数据的融合分析。
📄 摘要（原文）
The integrative analysis of histopathological images and genomic data has received increasing attention for survival prediction of human cancers. However, the existing studies always hold the assumption that full modalities are available. As a matter of fact, the cost for collecting genomic data is high, which sometimes makes genomic data unavailable in testing samples. A common way of tackling such incompleteness is to generate the genomic representations from the pathology images. Nevertheless, such strategy still faces the following two challenges: (1) The gigapixel whole slide images (WSIs) are huge and thus hard for representation. (2) It is difficult to generate the genomic embeddings with diverse function categories in a unified generative framework. To address the above challenges, we propose a Conditional Latent Differentiation Variational AutoEncoder (LD-CVAE) for robust multimodal survival prediction, even with missing genomic data. Specifically, a Variational Information Bottleneck Transformer (VIB-Trans) module is proposed to learn compressed pathological representations from the gigapixel WSIs. To generate different functional genomic features, we develop a novel Latent Differentiation Variational AutoEncoder (LD-VAE) to learn the common and specific posteriors for the genomic embeddings with diverse functions. Finally, we use the product-of-experts technique to integrate the genomic common posterior and image posterior for the joint latent distribution estimation in LD-CVAE. We test the effectiveness of our method on five different cancer datasets, and the experimental results demonstrate its superiority in both complete and missing modality scenarios.