MurreNet: Modeling Holistic Multimodal Interactions Between Histopathology and Genomic Profiles for Survival Prediction

📄 arXiv: 2507.04891v1 📥 PDF

作者: Mingxin Liu, Chengfei Cai, Jun Li, Pengbo Xu, Jinze Li, Jiquan Ma, Jun Xu

分类: eess.IV, cs.CV

发布日期: 2025-07-07

备注: 11 pages, 2 figures, Accepted by MICCAI 2025

💡 一句话要点

MurreNet：建模组织病理学与基因组图谱间整体多模态交互，用于生存预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 癌症生存预测 组织病理学 基因组学 表示解耦 特征融合 深度学习 TCGA

📋 核心要点

  1. 现有癌症生存预测方法难以有效整合病理图像和基因组数据，未能充分建模模态间复杂交互。
  2. MurreNet通过多模态表示分解（MRD）和深度整体正交融合（DHOF）策略，解耦并融合模态特征。
  3. 在六个TCGA癌症队列上的实验表明，MurreNet在生存预测任务上取得了显著的性能提升，达到SOTA水平。

📝 摘要（中文）

癌症生存预测需要整合病理学全切片图像（WSIs）和基因组图谱，这是一项具有挑战性的任务，因为其内在异质性和建模模态间及模态内交互的复杂性。当前方法通常采用直接的融合策略进行多模态特征整合，未能全面捕获模态特定和模态共享的交互，导致对多模态相关性的理解有限，预测性能欠佳。为了缓解这些限制，本文提出了一种多模态表示解耦网络（MurreNet），以推进癌症生存分析。具体而言，我们首先提出了一个多模态表示分解（MRD）模块，以显式地将配对输入数据分解为模态特定和模态共享的表示，从而减少模态之间的冗余。此外，通过一种新颖的训练正则化策略进一步细化和更新解耦的表示，该策略对模态特征的分布相似性、差异性和代表性施加约束。最后，通过提出的深度整体正交融合（DHOF）策略将增强的多模态特征整合到联合表示中。在六个TCGA癌症队列上进行的大量实验表明，我们的MurreNet在生存预测方面实现了最先进（SOTA）的性能。

🔬 方法详解

问题定义：论文旨在解决癌症生存预测中，如何有效整合病理学全切片图像（WSIs）和基因组图谱信息的问题。现有方法通常采用简单的特征融合策略，无法充分挖掘模态特定和模态共享的信息，忽略了模态间的复杂交互关系，导致预测精度不高。

核心思路：论文的核心思路是将多模态数据分解为模态特定和模态共享的表示，从而减少模态间的冗余，并利用正则化策略增强这些表示的区分性和代表性。然后，通过一种新的融合策略将这些表示整合起来，从而更全面地捕捉多模态数据之间的关联。这样设计的目的是为了更有效地利用多模态信息，提高生存预测的准确性。

技术框架：MurreNet的整体架构包含三个主要模块：多模态表示分解（MRD）模块、表示细化与正则化模块、深度整体正交融合（DHOF）模块。首先，MRD模块将病理图像和基因组数据分解为模态特定和模态共享的表示。然后，表示细化与正则化模块通过约束分布相似性、差异性和代表性来优化这些表示。最后，DHOF模块将增强的多模态特征融合到联合表示中，用于生存预测。

关键创新：论文的关键创新在于提出了多模态表示分解（MRD）模块和深度整体正交融合（DHOF）策略。MRD模块能够显式地解耦模态特定和模态共享的表示，这与现有方法中直接融合特征的方式不同。DHOF策略则通过正交约束来增强融合特征的表达能力，进一步提升了预测性能。

关键设计：MRD模块使用自编码器结构来实现模态分解，损失函数包括重构损失、互信息损失和对抗损失，以保证分解的有效性和解耦性。表示细化与正则化模块使用KL散度等度量来约束模态特征的分布，损失函数包括相似性损失、差异性损失和代表性损失。DHOF模块使用深度神经网络来实现特征融合，并引入正交约束来保证融合特征的多样性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MurreNet在六个TCGA癌症队列上进行了广泛的实验，结果表明其在生存预测任务上取得了显著的性能提升，超越了现有的SOTA方法。例如，在某些队列上，C-index指标提升了5%以上，证明了该方法的有效性和优越性。

🎯 应用场景

MurreNet在癌症生存预测领域具有广泛的应用前景，可以帮助医生更准确地评估患者的预后，制定个性化的治疗方案。该研究成果还可以应用于其他多模态数据融合的场景，例如医学影像诊断、疾病风险评估等，具有重要的临床价值和社会意义。

📄 摘要（原文）

Cancer survival prediction requires integrating pathological Whole Slide Images (WSIs) and genomic profiles, a challenging task due to the inherent heterogeneity and the complexity of modeling both inter- and intra-modality interactions. Current methods often employ straightforward fusion strategies for multimodal feature integration, failing to comprehensively capture modality-specific and modality-common interactions, resulting in a limited understanding of multimodal correlations and suboptimal predictive performance. To mitigate these limitations, this paper presents a Multimodal Representation Decoupling Network (MurreNet) to advance cancer survival analysis. Specifically, we first propose a Multimodal Representation Decomposition (MRD) module to explicitly decompose paired input data into modality-specific and modality-shared representations, thereby reducing redundancy between modalities. Furthermore, the disentangled representations are further refined then updated through a novel training regularization strategy that imposes constraints on distributional similarity, difference, and representativeness of modality features. Finally, the augmented multimodal features are integrated into a joint representation via proposed Deep Holistic Orthogonal Fusion (DHOF) strategy. Extensive experiments conducted on six TCGA cancer cohorts demonstrate that our MurreNet achieves state-of-the-art (SOTA) performance in survival prediction.