Multimodal Deep Learning for Prediction of Progression-Free Survival in Patients with Neuroendocrine Tumors Undergoing 177Lu-based Peptide Receptor Radionuclide Therapy

📄 arXiv: 2511.05169v1 📥 PDF

作者: Simon Baur, Tristan Ruhwedel, Ekin Böke, Zuzanna Kobus, Gergana Lishkova, Christoph Wetz, Holger Amthauer, Christoph Roderburg, Frank Tacke, Julian M. Rogasch, Wojciech Samek, Henning Jann, Jackie Ma, Johannes Eschrich

分类: cs.LG

发布日期: 2025-11-07

💡 一句话要点

多模态深度学习预测177Lu-PRRT治疗神经内分泌肿瘤患者的无进展生存期

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经内分泌肿瘤 肽受体放射性核素疗法 无进展生存期 多模态深度学习 SR-PET/CT 影像组学 预后预测

📋 核心要点

  1. PRRT治疗NETs的疗效存在个体差异，准确预测PFS是优化治疗的关键。
  2. 论文提出一种多模态深度学习方法，融合实验室指标、SR-PET和CT影像数据进行PFS预测。
  3. 实验结果表明，该多模态模型显著优于单模态模型，AUROC达到0.72，AUPRC达到0.80。

📝 摘要（中文）

肽受体放射性核素疗法(PRRT)是转移性神经内分泌肿瘤(NETs)的成熟疗法，但仅部分患者能实现长期疾病控制。预测无进展生存期(PFS)有助于个体化治疗计划。本研究评估了实验室指标、影像学数据和多模态深度学习模型在PRRT治疗患者PFS预测中的应用。纳入了116例接受177Lu-DOTATOC治疗的转移性NETs患者的回顾性单中心研究。收集了临床特征、实验室值和治疗前生长抑素受体正电子发射断层扫描/计算机断层扫描(SR-PET/CT)。训练了七个模型来区分低PFS组和高PFS组，包括单模态(实验室、SR-PET或CT)和多模态融合方法。通过特征重要性分析和梯度图评估了可解释性。结果表明，多模态深度学习结合SR-PET、CT和实验室生物标志物优于单模态方法，可用于PRRT后PFS预测。外部验证后，此类模型可支持风险适应性随访策略。

🔬 方法详解

问题定义：本研究旨在解决PRRT治疗转移性神经内分泌肿瘤后，难以准确预测患者无进展生存期（PFS）的问题。现有方法，如仅依赖临床特征或单一影像模态，预测精度有限，无法有效指导个体化治疗方案的制定。

核心思路：论文的核心思路是利用多模态深度学习，融合患者的实验室生物标志物、SR-PET和CT影像数据，提取更全面的特征信息，从而提高PFS预测的准确性。这种方法基于的假设是，不同模态的数据包含互补的信息，联合分析能够更全面地反映肿瘤的生物学行为和治疗反应。

技术框架：整体框架包含数据预处理、特征提取和模型训练三个主要阶段。首先，对实验室数据进行标准化处理，对SR-PET和CT影像进行配准和预处理。然后，使用不同的神经网络结构提取不同模态的特征，例如，使用3D卷积神经网络处理影像数据。最后，将提取的特征进行融合，输入到分类器中进行PFS预测。

关键创新：最重要的技术创新点在于多模态融合策略。论文提出了一种将实验室值、SR-PET和CT影像数据有效融合的深度学习模型。此外，论文还使用了预训练的CT分支，以提高CT影像特征提取的效率和准确性。这种多模态融合方法能够充分利用不同数据源的信息，从而提高预测性能。

关键设计：在网络结构方面，使用了3D卷积神经网络处理SR-PET和CT影像数据，并设计了专门的融合层将不同模态的特征进行整合。在损失函数方面，使用了交叉熵损失函数进行模型训练。此外，论文还使用了数据增强技术，以提高模型的泛化能力。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，多模态深度学习模型在PFS预测方面显著优于单模态方法。仅使用实验室生物标志物的随机森林模型AUROC为0.59，而单模态SR-PET和CT的AUROC分别为0.42和0.54。相比之下，多模态融合模型达到了最高的AUROC 0.72和AUPRC 0.80，表明多模态融合能够有效提高预测精度。

🎯 应用场景

该研究成果可应用于临床，辅助医生制定个体化的PRRT治疗方案和随访策略。通过预测患者的PFS，可以识别出高风险患者，并对其进行更密切的监测和更积极的治疗。此外，该模型还可以用于药物研发，评估新的治疗方法对PFS的影响。未来，该技术有望推广到其他肿瘤类型的治疗决策中。

📄 摘要（原文）

Peptide receptor radionuclide therapy (PRRT) is an established treatment for metastatic neuroendocrine tumors (NETs), yet long-term disease control occurs only in a subset of patients. Predicting progression-free survival (PFS) could support individualized treatment planning. This study evaluates laboratory, imaging, and multimodal deep learning models for PFS prediction in PRRT-treated patients. In this retrospective, single-center study 116 patients with metastatic NETs undergoing 177Lu-DOTATOC were included. Clinical characteristics, laboratory values, and pretherapeutic somatostatin receptor positron emission tomography/computed tomographies (SR-PET/CT) were collected. Seven models were trained to classify low- vs. high-PFS groups, including unimodal (laboratory, SR-PET, or CT) and multimodal fusion approaches. Explainability was evaluated by feature importance analysis and gradient maps. Forty-two patients (36%) had short PFS (< 1 year), 74 patients long PFS (>1 year). Groups were similar in most characteristics, except for higher baseline chromogranin A (p = 0.003), elevated gamma-GT (p = 0.002), and fewer PRRT cycles (p < 0.001) in short-PFS patients. The Random Forest model trained only on laboratory biomarkers reached an AUROC of 0.59 +- 0.02. Unimodal three-dimensional convolutional neural networks using SR-PET or CT performed worse (AUROC 0.42 +- 0.03 and 0.54 +- 0.01, respectively). A multimodal fusion model laboratory values, SR-PET, and CT -augmented with a pretrained CT branch - achieved the best results (AUROC 0.72 +- 0.01, AUPRC 0.80 +- 0.01). Multimodal deep learning combining SR-PET, CT, and laboratory biomarkers outperformed unimodal approaches for PFS prediction after PRRT. Upon external validation, such models may support risk-adapted follow-up strategies.