HGASurv: Hierarchical Granularity-Aware Integration for Multimodal Survival Prediction

📄 arXiv: 2610.26357v1 📥 PDF

作者: Peike Yu, Wuchao Liu, Jihong Guan, Shuigeng Zhou

分类: cs.CV

发布日期: 2026-10-19

备注: Preprint

💡 一句话要点

提出HGASurv以解决多模态生存预测中的粒度差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生存预测 分层编码 图传播 临床变量 生物信息学 机器学习 癌症预测

📋 核心要点

  1. 现有多模态生存预测方法未能充分考虑不同模态间的粒度差异，导致预测性能不足。
  2. HGASurv通过分层WSI编码和临床引导图传播模块，针对不同粒度特征进行有效集成。
  3. 在三个TCGA队列中，HGASurv的C-index表现优于现有方法，验证了其有效性和创新性。

📝 摘要（中文）

本研究的目标是通过联合分析组织病理全切片图像、基因组特征和临床变量来进行多模态生存预测。然而，现有方法往往未能充分考虑不同模态间的粒度差异，尤其是在空间组织和特征维度方面。为此，本文提出了HGASurv，采用分层的WSI编码模块和临床引导的图传播模块，实现粒度感知的多模态集成。实验结果表明，HGASurv在三个TCGA队列中取得了最佳的C-index性能，验证了分层WSI编码和临床引导图传播模块的互补贡献。

🔬 方法详解

问题定义：本研究旨在解决多模态生存预测中不同模态（如组织病理图像、基因组数据和临床变量）间粒度差异的问题。现有方法未能有效整合这些模态，导致预测准确性不足。

核心思路：HGASurv的核心思想是通过分层的WSI编码和临床引导的图传播，针对不同粒度特征进行有效的融合与集成，以提升生存预测的准确性。

技术框架：HGASurv的整体架构包括两个主要模块：分层WSI编码模块和临床引导图传播模块。分层WSI编码模块将WSI补丁特征映射到空间网格，并通过并行卷积构建不同尺度的表示；临床引导图传播模块则利用临床变量定义患者相似性边，并通过图注意力机制传播融合的图像-基因组节点嵌入。

关键创新：HGASurv的主要创新在于引入了分层的WSI编码和基于拓扑的临床信息集成方法。这种设计使得不同模态的表示和集成机制能够匹配特定的粒度，从而显著提高了多模态生存预测的性能。

关键设计：在技术细节上，分层WSI编码模块采用了多尺度的卷积操作，确保不同尺度的特征能够被有效提取；而临床引导图传播模块则通过图注意力机制实现了临床信息的有效整合，避免了简单的特征拼接方法。整体设计注重了不同模态间的相互作用与信息流动。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在三个TCGA队列中，HGASurv实现了最佳的C-index性能，显著优于现有的多模态生存预测方法。通过消融实验，验证了分层WSI编码和临床引导图传播模块的互补作用，进一步证明了该方法在多模态集成中的有效性。

🎯 应用场景

HGASurv的研究成果在医学领域具有广泛的应用潜力，尤其是在癌症生存预测和个性化治疗方案的制定中。通过更准确的生存预测，医生能够更好地为患者提供针对性的治疗建议，从而提高患者的生存率和生活质量。此外，该方法的框架也可扩展至其他多模态数据分析场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

Objective: Multimodal survival prediction jointly analyzes histopathological whole-slide images (WSIs), genomic profiles, and clinical variables to stratify patients by risk. However, existing approaches often inadequately account for granularity differences across modalities, particularly in spatial organization and feature dimensionality. To address these challenges, we propose HGASurv, which introduces a hierarchical WSI encoding module and a clinical-guided graph propagation module for granularity-aware multimodal integration. Methods: The hierarchical WSI encoding module maps WSI patch features onto a spatial grid using their original coordinates and applies parallel convolutions to construct representations at patch, local-neighborhood, and regional scales. Genomic signature embeddings then query these scale-specific WSI representations through cross-modal co-attention, producing signature-conditioned morphological features. The clinical-guided graph propagation module uses clinical variables to define patient-similarity edges and propagates fused image-genomic node embeddings with graph attention, integrating clinical information through topology rather than feature concatenation. Results: Across three TCGA cohorts, HGASurv achieved the strongest overall C-index performance, with ablation studies supporting the complementary contributions of the hierarchical WSI encoding and clinical-guided graph propagation modules. Conclusion and Significance: By introducing hierarchical WSI encoding and clinical-guided graph propagation, HGASurv unifies multi-scale pathology representation with topology-based clinical integration in a hierarchical granularity-aware framework. This design shows that matching representation and integration mechanisms to modality-specific granularity improves multimodal survival prediction.