Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer

📄 arXiv: 2601.10386v1 📥 PDF

作者: Filippo Ruffini, Camillo Maria Caruso, Claudia Tacconi, Lorenzo Nibid, Francesca Miccolis, Marta Lovino, Carlo Greco, Edy Ippolito, Michele Fiore, Alessio Cortellini, Bruno Beomonte Zobel, Giuseppe Perrone, Bruno Vincenzi, Claudio Marrocco, Alessandro Bria, Elisa Ficarra, Sara Ramella, Valerio Guarrasi, Paolo Soda

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-01-15

💡 一句话要点

提出一种缺失感知的多模态生存预测框架，用于解决非小细胞肺癌中数据缺失问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 生存预测 非小细胞肺癌 缺失数据处理 深度学习

📋 核心要点

  1. 多模态深度学习在非小细胞肺癌生存预测中受限于数据缺失，传统方法如完全病例过滤导致信息损失。
  2. 论文提出一种缺失感知的多模态生存预测框架，利用基础模型提取特征，并采用缺失感知编码策略。
  3. 实验结果表明，中间融合策略优于其他融合方法，WSI和临床数据的融合取得了最佳的C-index 73.30。

📝 摘要（中文）

在非小细胞肺癌（NSCLC）中，准确的生存预测需要整合异构的临床、影像和组织病理信息。多模态深度学习（MDL）为精确预后和生存预测提供了希望，但其临床应用受到小样本量和模态缺失的严重限制，通常导致完全病例过滤或激进的插补。本文提出了一种缺失感知的多模态生存框架，该框架集成了计算机断层扫描（CT）、全切片组织病理学（WSI）图像和结构化临床变量，用于不可切除的II-III期NSCLC的总体生存建模。通过利用基础模型（FM）进行模态特定特征提取和缺失感知编码策略，所提出的方法能够在自然不完整的模态概况下实现中间多模态融合。该架构在设计上对缺失模态具有弹性，允许模型利用所有可用数据，而无需在训练或推理期间被迫删除患者。实验结果表明，中间融合始终优于单模态基线以及早期和晚期融合策略，其中WSI和临床模态的融合表现最佳（C-index为73.30）。对模态重要性的进一步分析表明，模型具有自适应行为，其中信息量较少的模态（即CT模态）被自动降低权重，对最终生存预测的贡献较小。

🔬 方法详解

问题定义：论文旨在解决非小细胞肺癌（NSCLC）生存预测中，由于临床数据（CT、WSI、临床变量）不完整导致的传统多模态深度学习方法性能下降的问题。现有方法，如完全病例分析或数据插补，要么损失信息，要么引入偏差。

核心思路：核心思路是设计一个“缺失感知”的多模态融合框架，该框架能够有效地利用所有可用的数据，即使某些模态的数据缺失。通过模态特定的特征提取和缺失感知编码，模型可以自适应地调整不同模态的权重，从而提高生存预测的准确性和鲁棒性。

技术框架：该框架包含以下主要模块：1) 模态特定特征提取：使用预训练的基础模型（Foundation Models）从CT图像、WSI图像和临床变量中提取特征。2) 缺失感知编码：设计一种编码策略，能够处理不同模态的缺失情况，并生成适用于多模态融合的表示。3) 中间多模态融合：将不同模态的特征进行融合，以获得更全面的患者信息。4) 生存预测：使用融合后的特征进行生存预测。

关键创新：最重要的技术创新点在于“缺失感知编码”策略，它允许模型在训练和推理过程中处理缺失的模态数据，而无需进行数据插补或删除患者。这种方法能够更有效地利用有限的临床数据，并提高模型的泛化能力。与现有方法的本质区别在于，该方法不是简单地忽略缺失数据，而是通过学习不同模态之间的关系，来推断缺失模态的信息。

关键设计：论文中关键的设计包括：1) 使用预训练的基础模型进行特征提取，以提高特征的质量和泛化能力。2) 设计一种自适应的权重机制，根据模态的可用性和重要性，动态地调整不同模态的权重。3) 使用C-index作为生存预测的评价指标，以评估模型的性能。

📊 实验亮点

实验结果表明，所提出的缺失感知多模态生存预测框架优于单模态基线以及早期和晚期融合策略。其中，WSI和临床模态的融合取得了最佳的C-index为73.30。此外，模态重要性分析表明，模型能够自适应地降低信息量较少的模态（如CT模态）的权重，从而提高预测的准确性。

🎯 应用场景

该研究成果可应用于临床辅助决策，帮助医生更准确地预测非小细胞肺癌患者的生存期，从而制定更个性化的治疗方案。此外，该方法也可推广到其他多模态医学数据分析任务中，例如疾病诊断、预后评估等，具有广阔的应用前景。

📄 摘要（原文）

Accurate survival prediction in Non-Small Cell Lung Cancer (NSCLC) requires the integration of heterogeneous clinical, radiological, and histopathological information. While Multimodal Deep Learning (MDL) offers a promises for precision prognosis and survival prediction, its clinical applicability is severely limited by small cohort sizes and the presence of missing modalities, often forcing complete-case filtering or aggressive imputation. In this work, we present a missing-aware multimodal survival framework that integrates Computed Tomography (CT), Whole-Slide Histopathology (WSI) Images, and structured clinical variables for overall survival modeling in unresectable stage II-III NSCLC. By leveraging Foundation Models (FM) for modality-specific feature extraction and a missing-aware encoding strategy, the proposed approach enables intermediate multimodal fusion under naturally incomplete modality profiles. The proposed architecture is resilient to missing modalities by design, allowing the model to utilize all available data without being forced to drop patients during training or inference. Experimental results demonstrate that intermediate fusion consistently outperforms unimodal baselines as well as early and late fusion strategies, with the strongest performance achieved by the fusion of WSI and clinical modalities (73.30 C-index). Further analyses of modality importance reveal an adaptive behavior in which less informative modalities, i.e., CT modality, are automatically down-weighted and contribute less to the final survival prediction.