Multimodal Integration of Longitudinal Noninvasive Diagnostics for Survival Prediction in Immunotherapy Using Deep Learning
作者: Melda Yeghaian, Zuhir Bodalal, Daan van den Broek, John B A G Haanen, Regina G H Beets-Tan, Stefano Trebeschi, Marcel A J van Gerven
分类: cs.LG, cs.AI, q-bio.QM
发布日期: 2024-11-27 (更新: 2025-06-07)
期刊: Journal of the American Medical Informatics Association, 2025;, ocaf074
💡 一句话要点
提出MMTSimTA网络，利用多模态纵向数据预测免疫疗法癌症患者的生存率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 免疫治疗 生存预测 多模态融合 纵向数据 深度学习 Transformer 时间注意力
📋 核心要点
- 免疫疗法反应模式理解不足，现有方法难以有效整合纵向多模态数据进行精准预测。
- 提出MMTSimTA网络，结合Transformer和时间注意力机制，有效融合血液、药物和CT影像等多模态数据。
- 实验结果表明，MMTSimTA网络在短期生存预测方面表现出色，AUC值显著优于基线方法。
📝 摘要（中文）
本研究旨在利用人工智能和常规收集的非侵入性纵向多模态数据，以期革新癌症患者的免疫治疗方法，并为个性化治疗方案铺平道路。为此，我们开发了一种新颖的神经网络架构，即基于多模态Transformer的简单时间注意力（MMTSimTA）网络。该网络集成了免疫治疗前后的血液测量数据、处方药物信息以及基于CT的器官体积数据，这些数据来自一个包含694名接受免疫治疗的泛癌患者的大型队列。我们实现了MMTSimTA网络的多个变体，并将其与基于中间和晚期融合的基线方法进行了比较。结果表明，MMTSimTA模型的一个变体表现出最强的预后性能，其3个月、6个月、9个月和12个月生存预测的曲线下面积（AUC）分别为0.84±0.04、0.83±0.02、0.82±0.02和0.81±0.03。研究表明，使用我们提出的新架构整合非侵入性纵向数据可以提高多模态预后性能，尤其是在短期生存预测方面。总之，我们的研究表明，使用深度学习对非侵入性数据的多模态纵向整合可能为免疫治疗癌症患者的个性化预后提供一种有前景的方法。
🔬 方法详解
问题定义：论文旨在解决免疫治疗癌症患者的生存预测问题。现有方法在整合纵向、多模态的非侵入性数据方面存在不足，难以充分利用患者在治疗过程中产生的动态变化信息，导致预测精度不高。
核心思路：论文的核心思路是利用深度学习模型，特别是Transformer架构及其变体，来有效整合患者的纵向多模态数据。通过时间注意力机制，模型能够学习到不同时间点和不同模态数据之间的关联性，从而更准确地预测患者的生存率。这种设计旨在捕捉患者在治疗过程中产生的复杂变化模式。
技术框架：MMTSimTA网络主要包含以下几个模块：1) 数据预处理模块，对血液测量、药物信息和CT影像数据进行清洗和标准化；2) 特征提取模块，利用不同的神经网络（如卷积神经网络或全连接网络）提取不同模态数据的特征；3) 时间注意力模块，利用Transformer中的自注意力机制，学习不同时间点特征之间的依赖关系；4) 多模态融合模块，将不同模态的特征进行融合；5) 预测模块，利用全连接网络或分类器预测患者的生存率。
关键创新：该论文的关键创新在于提出了MMTSimTA网络，该网络结合了Transformer架构和简单时间注意力机制，能够有效地整合纵向多模态数据。与传统的融合方法（如中间融合和晚期融合）相比，MMTSimTA网络能够更好地捕捉不同时间点和不同模态数据之间的复杂关系。
关键设计：在MMTSimTA网络中，时间注意力模块是关键的设计。该模块利用Transformer中的自注意力机制，学习不同时间点特征之间的依赖关系。此外，论文还探索了不同的多模态融合策略，例如concat融合和注意力融合。损失函数方面，论文使用了交叉熵损失函数来训练模型。
📊 实验亮点
MMTSimTA模型在3个月、6个月、9个月和12个月生存预测的曲线下面积（AUC）分别达到了0.84±0.04、0.83±0.02、0.82±0.02和0.81±0.03，显著优于基线方法。这表明该模型在短期生存预测方面具有很强的优势，能够为临床决策提供更准确的依据。
🎯 应用场景
该研究成果可应用于临床，辅助医生进行免疫治疗方案的个性化制定。通过整合患者的纵向多模态数据，预测患者的生存率，从而帮助医生选择最合适的治疗方案，提高治疗效果，改善患者的生存质量。未来，该方法还可扩展到其他疾病的预后预测。
📄 摘要（原文）
Purpose: Immunotherapies have revolutionized the landscape of cancer treatments. However, our understanding of response patterns in advanced cancers treated with immunotherapy remains limited. By leveraging routinely collected noninvasive longitudinal and multimodal data with artificial intelligence, we could unlock the potential to transform immunotherapy for cancer patients, paving the way for personalized treatment approaches. Methods: In this study, we developed a novel artificial neural network architecture, multimodal transformer-based simple temporal attention (MMTSimTA) network, building upon a combination of recent successful developments. We integrated pre- and on-treatment blood measurements, prescribed medications and CT-based volumes of organs from a large pan-cancer cohort of 694 patients treated with immunotherapy to predict mortality at three, six, nine and twelve months. Different variants of our extended MMTSimTA network were implemented and compared to baseline methods incorporating intermediate and late fusion based integration methods. Results: The strongest prognostic performance was demonstrated using a variant of the MMTSimTA model with area under the curves (AUCs) of $0.84 \pm $0.04, $0.83 \pm $0.02, $0.82 \pm $0.02, $0.81 \pm $0.03 for 3-, 6-, 9-, and 12-month survival prediction, respectively. Discussion: Our findings show that integrating noninvasive longitudinal data using our novel architecture yields an improved multimodal prognostic performance, especially in short-term survival prediction. Conclusion: Our study demonstrates that multimodal longitudinal integration of noninvasive data using deep learning may offer a promising approach for personalized prognostication in immunotherapy-treated cancer patients.