Multimodal classification of Radiation-Induced Contrast Enhancements and tumor recurrence using deep learning

📄 arXiv: 2603.11827v1 📥 PDF

作者: Robin Peretzke, Marlin Hanstein, Maximilian Fischer, Lars Badhi Wessel, Obada Alhalabi, Sebastian Regnery, Andreas Kudak, Maximilian Deng, Tanja Eichkorn, Philipp Hoegen Saßmannshausen, Fabian Allmendinger, Jan-Hendrik Bolten, Philipp Schröter, Christine Jungk, Jürgen Peter Debus, Peter Neher, Laila König, Klaus Maier-Hein

分类: cs.CV

发布日期: 2026-03-12

💡 一句话要点

提出RICE-NET，利用多模态深度学习区分胶质母细胞瘤术后肿瘤复发与放射性损伤。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 胶质母细胞瘤 肿瘤复发 放射性损伤 多模态学习 深度学习 医学影像 放射剂量图 RICE-NET

📋 核心要点

  1. 区分胶质母细胞瘤术后肿瘤复发和放射性损伤是临床挑战，现有方法依赖性强且信息利用不充分。
  2. RICE-NET整合纵向MRI数据和放射剂量分布，利用多模态3D深度学习进行病灶自动分类。
  3. 实验结果表明，RICE-NET在独立测试集上F1分数达到0.92，验证了其诊断潜力，并突出了放射剂量图的重要性。

📝 摘要（中文）

本研究旨在解决胶质母细胞瘤患者术后肿瘤复发与放射性损伤难以区分的临床难题。现有方法依赖于临床上稀疏可用的弥散MRI或未考虑放射剂量图，而放射剂量图在肿瘤委员会中越来越受到关注。我们提出了RICE-NET，一种多模态3D深度学习模型，它整合了纵向MRI数据和放射治疗剂量分布，使用常规T1加权MRI数据进行自动病灶分类。在包含92名患者的队列中，该模型在独立测试集上实现了0.92的F1分数。通过广泛的消融实验，我们量化了每个时间点和模态的贡献，并表明可靠的分类很大程度上取决于放射剂量图。基于遮挡的可解释性分析进一步证实了模型对临床相关区域的关注。这些发现突出了多模态深度学习在提高诊断准确性和支持神经肿瘤学临床决策方面的潜力。

🔬 方法详解

问题定义：该论文旨在解决神经肿瘤学中一个关键的临床问题：区分接受治疗后的胶质母细胞瘤患者的肿瘤复发与放射性损伤。现有的方法通常依赖于扩散MRI，但这种数据并非总是可用。此外，现有方法通常忽略了放射剂量图，而放射剂量图在临床决策中正变得越来越重要。因此，需要一种更可靠、更全面的方法来区分这两种情况。

核心思路：论文的核心思路是利用多模态深度学习，将纵向MRI数据与放射治疗剂量分布相结合，以实现更准确的病灶分类。通过整合来自不同时间点和不同模态的信息，模型可以学习到更鲁棒的特征表示，从而提高区分肿瘤复发和放射性损伤的能力。这种方法的核心在于充分利用了临床上可用的信息，并将其整合到一个统一的框架中。

技术框架：RICE-NET的整体架构是一个3D深度学习模型，它接收纵向MRI数据（包括T1加权MRI）和放射治疗剂量分布作为输入。模型包含多个卷积层、池化层和全连接层，用于提取特征并进行分类。该模型使用一个损失函数来优化模型的参数，并使用一个验证集来监控模型的性能。在训练完成后，该模型可以用于对新的患者数据进行分类。

关键创新：该论文的关键创新在于将放射剂量图整合到深度学习模型中，并证明了其在区分肿瘤复发和放射性损伤中的重要性。此外，该模型还利用了纵向MRI数据，从而可以捕捉到病灶随时间的变化。通过结合这两种信息来源，该模型可以实现比现有方法更高的分类准确率。

关键设计：RICE-NET的关键设计包括：(1) 使用3D卷积神经网络来处理MRI和放射剂量数据；(2) 使用多模态融合策略来整合来自不同模态的信息；(3) 使用消融实验来量化每个模态的贡献；(4) 使用基于遮挡的可解释性分析来验证模型对临床相关区域的关注。具体的网络结构和参数设置在论文中进行了详细描述，损失函数选择了交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RICE-NET在包含92名患者的独立测试集上实现了0.92的F1分数，显著优于现有方法。消融实验表明，放射剂量图对分类结果至关重要。可解释性分析证实，模型关注的区域与临床相关区域一致，进一步验证了模型的可靠性。这些结果表明，RICE-NET具有很高的临床应用价值。

🎯 应用场景

RICE-NET具有广泛的应用前景，可用于辅助神经肿瘤医生进行诊断，提高诊断准确率，减少误诊和漏诊。该技术可以帮助医生制定更合理的治疗方案，改善患者的预后。此外，该模型还可以用于研究放射治疗对肿瘤的影响，为未来的放射治疗方案设计提供依据。未来，该技术有望推广到其他类型的肿瘤，为更广泛的患者群体带来福音。

📄 摘要（原文）

The differentiation between tumor recurrence and radiation-induced contrast enhancements in post-treatment glioblastoma patients remains a major clinical challenge. Existing approaches rely on clinically sparsely available diffusion MRI or do not consider radiation maps, which are gaining increasing interest in the tumor board for this differentiation. We introduce RICE-NET, a multimodal 3D deep learning model that integrates longitudinal MRI data with radiotherapy dose distributions for automated lesion classification using conventional T1-weighted MRI data. Using a cohort of 92 patients, the model achieved an F1 score of 0.92 on an independent test set. During extensive ablation experiments, we quantified the contribution of each timepoint and modality and showed that reliable classification largely depends on the radiation map. Occlusion-based interpretability analyses further confirmed the model's focus on clinically relevant regions. These findings highlight the potential of multimodal deep learning to enhance diagnostic accuracy and support clinical decision-making in neuro-oncology.