Multimodal Feature Prototype Learning for Interpretable and Discriminative Cancer Survival Prediction

📄 arXiv: 2510.06113v1 📥 PDF

作者: Shuo Jiang, Zhuwen Chen, Liaoman Xu, Yanming Zhu, Changmiao Wang, Jiong Zhang, Feiwei Qin, Yifei Chen, Zhu Zhu

分类: cs.CV

发布日期: 2025-10-07

备注: 12 pages, 10 figures

🔗 代码/项目: GITHUB

💡 一句话要点

FeatProto：用于可解释和判别性癌症生存预测的多模态特征原型学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 癌症生存预测 多模态学习 原型学习 可解释性 病理图像分析

📋 核心要点

  1. 现有生存分析模型缺乏可解释性，限制了其在临床决策中的应用价值，传统原型学习方法侧重局部相似性，忽略了肿瘤的全局上下文。
  2. FeatProto框架通过构建统一的多模态特征原型空间，融合WSI的全局和局部特征以及基因组数据，实现可追溯和可解释的决策过程。
  3. 实验结果表明，FeatProto在多个癌症数据集上超越了现有的单模态和多模态生存预测方法，提高了预测准确性和可解释性。

📝 摘要（中文）

生存分析在临床决策中起着至关重要的作用。然而，目前使用的模型通常难以解释，这降低了它们在临床环境中的实用性。原型学习提供了一个潜在的解决方案，但传统方法侧重于局部相似性和静态匹配，忽略了更广泛的肿瘤背景，并且缺乏与基因组数据的强语义对齐。为了克服这些问题，我们引入了一种创新的基于原型的多模态框架FeatProto，旨在通过解决当前病理学中原型学习方法的重大局限性来增强癌症生存预测。我们的框架建立了一个统一的特征原型空间，该空间将全切片图像（WSI）的全局和局部特征与基因组谱相结合。这种集成有助于可追溯和可解释的决策过程。我们的方法包括三个主要创新：（1）一种稳健的表型表示，它将关键补丁与全局上下文合并，并与基因组数据协调以最小化局部偏差。（2）一种指数原型更新策略（EMA ProtoUp），它维持稳定的跨模态关联，并采用游走机制来灵活地使原型适应肿瘤异质性。（3）一种分层原型匹配方案，旨在捕获全局中心性、局部典型性和队列级趋势，从而改进原型推断。在四个公开可用的癌症数据集上的全面评估表明，我们的方法在准确性和互操作性方面均优于当前领先的单模态和多模态生存预测技术，为关键医疗应用的原型学习提供了新的视角。我们的源代码可在https://github.com/JSLiam94/FeatProto获得。

🔬 方法详解

问题定义：现有癌症生存预测模型，特别是基于深度学习的模型，通常是黑盒模型，缺乏可解释性，难以在临床实践中应用。传统原型学习方法侧重于局部特征的相似性，忽略了肿瘤的全局上下文信息，并且缺乏与基因组数据的有效融合，导致预测性能受限。

核心思路：FeatProto的核心思路是构建一个统一的多模态特征原型空间，将病理图像的全局和局部特征与基因组数据进行有效融合，并通过原型学习的方式，提取具有代表性的特征原型，用于癌症生存预测。通过这种方式，模型不仅能够提高预测准确性，还能够提供可解释的决策依据。

技术框架：FeatProto框架主要包含以下几个模块：1) 多模态特征提取模块：用于提取全切片图像（WSI）的全局和局部特征，以及基因组数据特征。2) 特征原型学习模块：通过指数原型更新策略（EMA ProtoUp）动态更新特征原型，使其能够适应肿瘤的异质性。3) 分层原型匹配模块：采用分层匹配方案，捕获全局中心性、局部典型性和队列级趋势，从而改进原型推断。4) 生存预测模块：基于学习到的特征原型，进行癌症生存预测。

关键创新：FeatProto的关键创新在于：1) 提出了一个统一的多模态特征原型空间，能够有效融合病理图像和基因组数据。2) 提出了指数原型更新策略（EMA ProtoUp），能够动态更新特征原型，适应肿瘤的异质性。3) 提出了分层原型匹配方案，能够捕获全局中心性、局部典型性和队列级趋势。这些创新使得FeatProto在癌症生存预测方面取得了显著的性能提升。

关键设计：在多模态特征提取方面，使用了预训练的深度学习模型提取WSI的特征。EMA ProtoUp策略使用指数移动平均来更新原型，公式为：prototype = α * prototype + (1 - α) * new_feature，其中α是一个超参数，控制更新速度。分层原型匹配方案包括全局原型匹配、局部原型匹配和队列级原型匹配，分别对应不同的损失函数，用于优化原型学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FeatProto在四个公开可用的癌症数据集上进行了全面评估，实验结果表明，FeatProto在准确性和可解释性方面均优于当前领先的单模态和多模态生存预测技术。具体而言，FeatProto在C-index等指标上取得了显著提升，证明了其在癌症生存预测方面的优越性。

🎯 应用场景

FeatProto具有广泛的应用前景，可用于辅助医生进行癌症诊断和预后评估，制定个性化的治疗方案。通过提供可解释的预测结果，FeatProto能够增强医生对模型的信任，提高临床决策的效率和准确性。未来，该方法还可以扩展到其他疾病的生存分析和预测，为精准医疗提供有力支持。

📄 摘要（原文）

Survival analysis plays a vital role in making clinical decisions. However, the models currently in use are often difficult to interpret, which reduces their usefulness in clinical settings. Prototype learning presents a potential solution, yet traditional methods focus on local similarities and static matching, neglecting the broader tumor context and lacking strong semantic alignment with genomic data. To overcome these issues, we introduce an innovative prototype-based multimodal framework, FeatProto, aimed at enhancing cancer survival prediction by addressing significant limitations in current prototype learning methodologies within pathology. Our framework establishes a unified feature prototype space that integrates both global and local features of whole slide images (WSI) with genomic profiles. This integration facilitates traceable and interpretable decision-making processes. Our approach includes three main innovations: (1) A robust phenotype representation that merges critical patches with global context, harmonized with genomic data to minimize local bias. (2) An Exponential Prototype Update Strategy (EMA ProtoUp) that sustains stable cross-modal associations and employs a wandering mechanism to adapt prototypes flexibly to tumor heterogeneity. (3) A hierarchical prototype matching scheme designed to capture global centrality, local typicality, and cohort-level trends, thereby refining prototype inference. Comprehensive evaluations on four publicly available cancer datasets indicate that our method surpasses current leading unimodal and multimodal survival prediction techniques in both accuracy and interoperability, providing a new perspective on prototype learning for critical medical applications. Our source code is available at https://github.com/JSLiam94/FeatProto.