MIST: Multimodal Survival Prediction with Genomic-Guided Histology Attention

📄 arXiv: 2609.21811v1 📥 PDF

作者: Muhammet Sami Yavuz, Sabri Mustafa Kahya, Richard R. Chen, Jana Lipkova, Benedikt Wiestler

分类: cs.AI, cs.CV

发布日期: 2026-09-18

备注: Accepted at the COMPAYL 2026 Workshop on Computational Pathology and Multimodal Data at MICCAI 2026. 11 pages, 2 figures, 4 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出MIST以解决多模态生存预测中的融合挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生存预测 基因组特征 组织学注意力 全切片图像 预后评估 肿瘤学 机器学习

📋 核心要点

  1. 现有的多模态生存预测方法在外部队列转移和计算复杂性方面面临融合挑战，导致预测性能受限。
  2. MIST通过将基因组特征作为令牌，并在生存预测前查询组织学上下文令牌，来有效融合多模态信息。
  3. 在四个外部评估中，MIST在结肠、肾脏、肺和胶质母细胞瘤队列中显著提高了外部C-index，优于标准融合基线。

📝 摘要（中文）

多模态生存模型能够结合全切片图像和基因组特征的互补预后信息，但在外部队列转移和计算复杂性方面的有效融合仍然具有挑战性。为了解决这些问题，本文提出了MIST，即基因组引导的组织学注意力的多模态生存预测。MIST将基因组特征表示为令牌，并允许它们在生存预测之前查询由基础模型生成的紧凑组织学上下文令牌。这种设计通过丰富分子信息与组织学上下文，而不是仅在最终阶段合并单独编码的模态。通过对结肠、肾脏、肺和胶质母细胞瘤队列的四项外部评估，MIST在主要比较中提高了外部C-index，支持基因组引导的组织学注意力作为多模态肿瘤结果预测的紧凑有效策略。

🔬 方法详解

问题定义：本论文旨在解决多模态生存预测中信息融合的挑战，现有方法在面对外部队列转移和计算复杂性时，往往无法有效整合不同模态的信息，导致预测性能不足。

核心思路：MIST的核心思路是将基因组特征表示为令牌，并允许这些令牌在进行生存预测之前，查询由基础模型生成的组织学上下文令牌。这种设计使得分子信息能够与组织学上下文相结合，而不是在最后阶段简单合并。

技术框架：MIST的整体架构包括多个模块，首先是基因组特征的令牌化，然后是与组织学上下文的查询和对齐，最后进行生存预测。训练过程中结合了离散时间生存预测、基因组特征掩蔽、全切片图像（WSI）丢弃和配对的WSI-基因组对比对齐。

关键创新：MIST的主要创新在于基因组引导的组织学注意力机制，这一机制通过在生存预测前进行信息查询，显著提升了多模态信息的融合效果，与传统方法在最后阶段简单合并的方式形成了本质区别。

关键设计：在关键设计方面，MIST采用了特定的损失函数来优化生存预测，同时在网络结构中引入了注意力机制，以增强基因组特征与组织学上下文之间的关联性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在四个外部评估中，MIST在结肠、肾脏、肺和胶质母细胞瘤队列中显著提高了外部C-index，相较于标准融合基线，提升幅度明显，证明了基因组引导的组织学注意力在多模态肿瘤结果预测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括肿瘤学中的生存预测和个性化医疗。通过有效融合基因组和组织学信息，MIST能够为临床决策提供更准确的预后评估，进而改善患者的治疗方案和生存率。未来，该方法有望推广至其他疾病的多模态预测任务中。

📄 摘要（原文）

Multimodal survival models can combine complementary prognostic information from whole-slide images and genomic profiles, but effective fusion remains challenging amid external cohort shift and computational complexity. To address these challenges, we propose MIST, multimodal survival prediction with genomic-guided histology attention. MIST represents genomic features as tokens and allows them to query compact foundation-model-derived histology context tokens before survival prediction. This design enriches molecular information with histology context rather than merging separately encoded modalities only at the final stage. Training combines discrete-time survival prediction with genomic feature masking, WSI dropout, and paired WSI-genomics contrastive alignment. Across four external evaluations in colon, renal, lung, and glioblastoma cohorts, MIST improves external C-index over standard fusion baselines in the primary comparisons. These results support genomic-guided histology attention as a compact and effective strategy for multimodal oncology outcome prediction. Our code is available at https://github.com/samiyavuuz/MIST .