A Self-supervised Multimodal Deep Learning Approach to Differentiate Post-radiotherapy Progression from Pseudoprogression in Glioblastoma

📄 arXiv: 2502.03999v1 📥 PDF

作者: Ahmed Gomaa, Yixing Huang, Pluvio Stephan, Katharina Breininger, Benjamin Frey, Arnd Dörfler, Oliver Schnell, Daniel Delev, Roland Coras, Charlotte Schmitter, Jenny Stritzelberger, Sabine Semrau, Andreas Maier, Siming Bayer, Stephan Schönecker, Dieter H Heiland, Peter Hau, Udo S. Gaipl, Christoph Bert, Rainer Fietkau, Manuel A. Schmidt, Florian Putz

分类: eess.IV, cs.CV

发布日期: 2025-02-06

💡 一句话要点

提出一种自监督多模态深度学习方法，用于区分胶质母细胞瘤放疗后的真性进展与假性进展。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胶质母细胞瘤 假性进展 真性进展 多模态学习 自监督学习 Vision Transformer 跨模态注意力

📋 核心要点

  1. 区分胶质母细胞瘤放疗后的假性进展和真性进展非常困难，因为它们的影像学特征高度相似，影响治疗方案选择。
  2. 论文提出一种自监督多模态深度学习方法，融合MRI图像、临床数据和放疗计划信息，提高区分准确性。
  3. 实验结果表明，该方法在区分假性进展和真性进展方面，AUC达到75.3%，优于现有技术水平。

📝 摘要（中文）

准确区分胶质母细胞瘤（GBM）患者放疗后的假性进展（PsP）和真性进展（TP）对于优化治疗计划至关重要。由于PsP和TP的影像学特征重叠，这项任务极具挑战性。本研究提出了一种多模态深度学习方法，利用常规解剖MR图像、临床参数和放疗计划信息中的互补信息，以提高预测准确性。该方法利用自监督Vision Transformer（ViT）对多序列MR脑容积进行编码，从而有效地捕获来自高维输入的全局和局部上下文。编码器在来自开放BraTS2021、UPenn-GBM和UCSF-PDGM数据集的未标记神经胶质瘤MRI数据集上，以自监督的上游任务进行训练，以从FLAIR和T1加权对比序列生成紧凑的、临床相关的表示。然后，通过引导的跨模态注意力将这些编码的MR输入与临床数据和放疗计划信息集成，从而提高进展分类的准确性。该工作使用来自不同中心的两个数据集进行开发：Burdenko胶质母细胞瘤进展数据集（n = 59）用于训练和验证，以及来自埃尔兰根大学医院（UKER）的GlioCMV进展数据集（n = 20）用于测试。所提出的方法实现了75.3%的AUC，优于当前最先进的数据驱动方法。重要的是，所提出的方法依赖于容易获得的解剖MRI序列、临床数据和放疗计划信息，从而增强了其临床可行性。该方法解决了PsP和TP区分的有限数据可用性挑战，并可以改善GBM患者的临床决策和优化治疗计划。

🔬 方法详解

问题定义：胶质母细胞瘤（GBM）患者在接受放疗后，区分肿瘤的真性进展（TP）和假性进展（PsP）是一个关键的临床问题。现有方法，尤其是仅依赖传统影像学特征的方法，难以准确区分两者，导致不恰当的治疗决策。数据驱动的方法也面临数据量不足的挑战。

核心思路：本研究的核心思路是利用多模态信息融合，结合MRI图像、临床数据和放疗计划信息，通过深度学习模型学习更具判别性的特征表示。自监督学习用于从大量未标记数据中提取有用的特征，从而缓解数据量不足的问题。跨模态注意力机制用于有效地融合不同模态的信息。

技术框架：该方法包含以下主要阶段：1) 使用自监督Vision Transformer (ViT) 对多序列 MRI 脑部图像进行编码，提取图像特征。2) 将编码后的 MRI 特征与临床数据和放疗计划信息进行整合。3) 使用引导的跨模态注意力机制，学习不同模态之间的关联，提高分类准确性。4) 使用分类器区分真性进展和假性进展。

关键创新：该方法的主要创新点在于：1) 采用自监督学习方法，利用大量未标记的MRI数据进行预训练，从而提高模型在小样本数据集上的泛化能力。2) 提出了一种跨模态注意力机制，能够有效地融合MRI图像、临床数据和放疗计划信息，从而提高分类准确性。3) 模型仅依赖于临床上常用的MRI序列、临床数据和放疗计划信息，易于部署和应用。

关键设计：自监督学习阶段，使用了对比学习的目标函数，鼓励模型学习到对图像变换具有不变性的特征表示。跨模态注意力机制中，使用了query、key和value的设计，query来自MRI特征，key和value来自临床和放疗信息，从而实现对不同模态信息的有效融合。ViT的结构和参数设置遵循了标准的ViT设计，并根据MRI图像的特点进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究在两个独立的数据集上进行了验证，结果表明，所提出的方法在区分真性进展和假性进展方面取得了显著的性能提升。在UKER数据集上，该方法实现了75.3%的AUC，优于当前最先进的数据驱动方法。该方法仅依赖于临床上常用的MRI序列、临床数据和放疗计划信息，易于部署和应用。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生更准确地区分胶质母细胞瘤放疗后的真性进展和假性进展，从而制定更合理的治疗方案，避免不必要的治疗干预，提高患者的生存质量。该方法具有良好的临床应用前景，有望成为未来胶质母细胞瘤治疗决策的重要工具。

📄 摘要（原文）

Accurate differentiation of pseudoprogression (PsP) from True Progression (TP) following radiotherapy (RT) in glioblastoma (GBM) patients is crucial for optimal treatment planning. However, this task remains challenging due to the overlapping imaging characteristics of PsP and TP. This study therefore proposes a multimodal deep-learning approach utilizing complementary information from routine anatomical MR images, clinical parameters, and RT treatment planning information for improved predictive accuracy. The approach utilizes a self-supervised Vision Transformer (ViT) to encode multi-sequence MR brain volumes to effectively capture both global and local context from the high dimensional input. The encoder is trained in a self-supervised upstream task on unlabeled glioma MRI datasets from the open BraTS2021, UPenn-GBM, and UCSF-PDGM datasets to generate compact, clinically relevant representations from FLAIR and T1 post-contrast sequences. These encoded MR inputs are then integrated with clinical data and RT treatment planning information through guided cross-modal attention, improving progression classification accuracy. This work was developed using two datasets from different centers: the Burdenko Glioblastoma Progression Dataset (n = 59) for training and validation, and the GlioCMV progression dataset from the University Hospital Erlangen (UKER) (n = 20) for testing. The proposed method achieved an AUC of 75.3%, outperforming the current state-of-the-art data-driven approaches. Importantly, the proposed approach relies on readily available anatomical MRI sequences, clinical data, and RT treatment planning information, enhancing its clinical feasibility. The proposed approach addresses the challenge of limited data availability for PsP and TP differentiation and could allow for improved clinical decision-making and optimized treatment plans for GBM patients.