Glioma Multimodal MRI Analysis System for Tumor Layered Diagnosis via Multi-task Semi-supervised Learning
作者: Yihao Liu, Zhihao Cui, Liming Li, Junjie You, Xinle Feng, Jianxin Wang, Xiangyu Wang, Qing Liu, Minghua Wu
分类: eess.IV, cs.CV
发布日期: 2025-01-29 (更新: 2025-05-25)
备注: 22 pages
💡 一句话要点
提出GMMAS：基于多任务半监督学习的脑胶质瘤多模态MRI分层诊断系统
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑胶质瘤 多模态MRI 多任务学习 半监督学习 深度学习 肿瘤诊断 预后评估
📋 核心要点
- 现有脑胶质瘤MRI分析方法侧重于独立任务，忽略了肿瘤分割、分级等任务间的内在关联。
- GMMAS系统利用多任务学习框架，同时处理多个诊断任务，并采用半监督学习提升性能。
- GMMAS通过自适应模块增强了在模态缺失情况下的鲁棒性，并集成了GPT用于预后评估。
📝 摘要（中文）
脑胶质瘤是中枢神经系统最常见的原发性肿瘤。多模态MRI广泛应用于脑胶质瘤的初步筛查，并在辅助诊断、治疗效果和预后评估中起着关键作用。目前，基于MRI的脑胶质瘤计算机辅助诊断研究主要集中于独立的分析任务，如肿瘤分割、分级和放射基因组学分类，而忽略了这些任务之间的相互依赖性。本研究提出了一个脑胶质瘤多模态MRI分析系统(GMMAS)，该系统利用深度学习网络同时处理多个任务，通过基于不确定性的多任务学习架构利用它们之间的相互依赖性，并同步输出肿瘤区域分割、胶质瘤组织学亚型、IDH突变基因型和1p/19q染色体缺失状态。与已报道的单任务分析模型相比，GMMAS提高了肿瘤分层诊断任务的精度。此外，我们采用了一种两阶段半监督学习方法，通过充分利用标记和未标记的MRI样本来提高模型性能。此外，通过利用基于知识自蒸馏和对比学习的自适应模块进行跨模态特征提取，GMMAS在模态缺失的情况下表现出鲁棒性，并揭示了每种MRI模态的不同重要性。最后，基于GMMAS的分析输出，我们创建了一个可视化且用户友好的医生和患者平台，引入GMMAS-GPT来生成个性化的预后评估和建议。
🔬 方法详解
问题定义：现有脑胶质瘤MRI分析方法通常将肿瘤分割、分级、基因分型等任务独立处理，忽略了它们之间的内在联系。这种孤立的处理方式可能导致信息利用不充分，影响诊断精度。此外，标注数据的获取成本高昂，限制了模型的泛化能力。
核心思路：GMMAS的核心思路是利用多任务学习框架，同时处理肿瘤分割、组织学亚型、IDH突变基因型和1p/19q染色体缺失状态等多个任务，从而挖掘任务间的相互依赖性，提升整体诊断精度。同时，采用半监督学习方法，充分利用未标注数据，降低对标注数据的依赖。
技术框架：GMMAS系统包含以下主要模块：1) 多任务学习模块：采用基于不确定性的多任务学习架构，同步输出多个诊断结果。2) 半监督学习模块：采用两阶段半监督学习方法，首先利用标记数据训练模型，然后利用未标记数据进行微调。3) 跨模态特征提取模块：利用基于知识自蒸馏和对比学习的自适应模块，提取不同MRI模态的特征，并增强模型在模态缺失情况下的鲁棒性。4) GMMAS-GPT模块：基于GMMAS的分析结果，生成个性化的预后评估和建议。
关键创新：GMMAS的关键创新在于：1) 提出了一个多任务学习框架，能够同时处理多个脑胶质瘤诊断任务，并利用任务间的相互依赖性。2) 采用了一种两阶段半监督学习方法，能够充分利用未标注数据，提升模型性能。3) 设计了一个基于知识自蒸馏和对比学习的自适应模块，能够增强模型在模态缺失情况下的鲁棒性。
关键设计：在多任务学习模块中，使用了基于不确定性的损失加权方法，根据每个任务的不确定性动态调整损失权重。在半监督学习模块中，使用了伪标签方法，为未标注数据生成伪标签，并将其用于模型训练。在跨模态特征提取模块中，使用了对比学习损失，鼓励模型学习到不同模态之间的共享特征。
🖼️ 关键图片
📊 实验亮点
GMMAS在肿瘤分层诊断任务中，精度优于单任务模型。通过两阶段半监督学习，模型性能得到显著提升。自适应模块的引入，使得GMMAS在模态缺失情况下仍能保持较好的鲁棒性。GMMAS-GPT能够生成个性化的预后评估和建议，为临床决策提供支持。
🎯 应用场景
GMMAS可应用于脑胶质瘤的辅助诊断、治疗方案制定和预后评估。该系统能够帮助医生更准确地识别肿瘤类型、评估肿瘤的侵袭性，并为患者提供个性化的治疗建议。未来，GMMAS有望成为脑胶质瘤临床诊疗的重要工具，提高患者的生存率和生活质量。
📄 摘要（原文）
Gliomas are the most common primary tumors of the central nervous system. Multimodal MRI is widely used for the preliminary screening of gliomas and plays a crucial role in auxiliary diagnosis, therapeutic efficacy, and prognostic evaluation. Currently, the computer-aided diagnostic studies of gliomas using MRI have focused on independent analysis events such as tumor segmentation, grading, and radiogenomic classification, without studying inter-dependencies among these events. In this study, we propose a Glioma Multimodal MRI Analysis System (GMMAS) that utilizes a deep learning network for processing multiple events simultaneously, leveraging their inter-dependencies through an uncertainty-based multi-task learning architecture and synchronously outputting tumor region segmentation, glioma histological subtype, IDH mutation genotype, and 1p/19q chromosome disorder status. Compared with the reported single-task analysis models, GMMAS improves the precision across tumor layered diagnostic tasks. Additionally, we have employed a two-stage semi-supervised learning method, enhancing model performance by fully exploiting both labeled and unlabeled MRI samples. Further, by utilizing an adaptation module based on knowledge self-distillation and contrastive learning for cross-modal feature extraction, GMMAS exhibited robustness in situations of modality absence and revealed the differing significance of each MRI modal. Finally, based on the analysis outputs of the GMMAS, we created a visual and user-friendly platform for doctors and patients, introducing GMMAS-GPT to generate personalized prognosis evaluations and suggestions.