Learning from Limited and Incomplete Data: A Multimodal Framework for Predicting Pathological Response in NSCLC

📄 arXiv: 2603.15100v1 📥 PDF

作者: Alice Natalina Caragliano, Giulia Farina, Fatih Aksu, Camillo Maria Caruso, Claudia Tacconi, Carlo Greco, Lorenzo Nibid, Edy Ippolito, Michele Fiore, Giuseppe Perrone, Sara Ramella, Paolo Soda, Valerio Guarrasi

分类: cs.CV

发布日期: 2026-03-16

💡 一句话要点

提出一种多模态深度学习框架，用于预测非小细胞肺癌新辅助治疗后的病理缓解情况。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 深度学习 非小细胞肺癌 病理缓解预测 缺失数据处理

📋 核心要点

  1. 准确预测非小细胞肺癌新辅助治疗后的病理缓解（pR）仍然具有挑战性，尤其是在数据有限和临床信息不完整的真实临床环境中。
  2. 论文提出一种多模态深度学习框架，结合了基于预训练模型的CT特征提取和缺失感知架构，以应对数据限制和缺失信息。
  3. 实验结果表明，该多模态模型优于单模态基线模型，证明了整合异构数据源和处理缺失信息策略的有效性。

📝 摘要（中文）

本研究提出了一种多模态深度学习框架，旨在解决非小细胞肺癌（NSCLC）新辅助治疗后病理缓解（pR）的预测问题。该框架集成了基于预训练模型（Foundation Model）的CT图像特征提取和一种能够处理缺失临床变量的架构。这种方法能够在小样本数据集上进行稳健学习，并显式地建模缺失的临床信息，避免了传统的插补策略。通过加权融合机制，利用图像和临床模态的互补信息，该多模态模型始终优于单模态的图像和临床基线模型。研究结果强调了整合异构数据源的价值，并突出了多模态、缺失感知系统在支持真实临床条件下pR预测的潜力。

🔬 方法详解

问题定义：该论文旨在解决非小细胞肺癌（NSCLC）患者接受新辅助治疗后，预测其是否能达到主要病理缓解（major pathological response, pR）这一临床难题。现有方法在数据量有限、临床数据不完整的情况下，预测精度不高，且通常依赖于数据插补等预处理手段，可能引入偏差。

核心思路：论文的核心思路是利用多模态数据融合的优势，结合CT图像和临床变量，通过深度学习模型进行预测。同时，针对临床数据缺失的问题，设计了一种“缺失感知”的架构，避免了传统的数据插补方法，从而更有效地利用现有数据。

技术框架：该框架包含以下几个主要模块：1) 基于预训练模型（Foundation Model）的CT图像特征提取模块，用于提取CT图像中的深度特征；2) 缺失感知的临床变量处理模块，用于处理包含缺失值的临床数据；3) 加权融合模块，用于融合图像和临床特征；4) 预测模块，用于输出pR的预测结果。整体流程是从CT图像和临床数据中提取特征，然后通过加权融合，最后进行预测。

关键创新：该论文的关键创新在于：1) 提出了一种缺失感知的架构，能够直接处理缺失的临床数据，避免了传统插补方法带来的偏差；2) 将基于预训练模型的图像特征提取与缺失感知的临床变量处理相结合，实现了多模态数据的有效融合；3) 提出了一种加权融合机制，能够根据不同模态数据的贡献程度进行自适应调整。

关键设计：论文中关于缺失感知模块的具体实现细节未知，但可以推测可能采用了类似于masking或attention机制的方法来处理缺失值。加权融合模块的具体权重计算方式也未知，但可能是通过学习得到的。CT图像特征提取所使用的预训练模型类型未知，但应该是医学图像领域常用的模型。损失函数和网络结构等其他技术细节也未在摘要中提及。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究结果表明，该多模态模型在预测非小细胞肺癌新辅助治疗后的病理缓解方面，始终优于单模态的图像和临床基线模型。具体的性能数据和提升幅度在摘要中未给出，但强调了多模态融合和缺失感知架构的有效性。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生评估非小细胞肺癌患者新辅助治疗后的疗效，从而制定更精准的治疗方案。通过整合影像和临床数据，并有效处理数据缺失问题，该方法有望提高预测准确性，改善患者预后，并降低不必要的治疗风险。未来可扩展到其他癌症类型的疗效预测。

📄 摘要（原文）

Major pathological response (pR) following neoadjuvant therapy is a clinically meaningful endpoint in non-small cell lung cancer, strongly associated with improved survival. However, accurate preoperative prediction of pR remains challenging, particularly in real-world clinical settings characterized by limited data availability and incomplete clinical profiles. In this study, we propose a multimodal deep learning framework designed to address these constraints by integrating foundation model-based CT feature extraction with a missing-aware architecture for clinical variables. This approach enables robust learning from small cohorts while explicitly modeling missing clinical information, without relying on conventional imputation strategies. A weighted fusion mechanism is employed to leverage the complementary contributions of imaging and clinical modalities, yielding a multimodal model that consistently outperforms both unimodal imaging and clinical baselines. These findings underscore the added value of integrating heterogeneous data sources and highlight the potential of multimodal, missing-aware systems to support pR prediction under realistic clinical conditions.