MAFM^3: Modular Adaptation of Foundation Models for Multi-Modal Medical AI

📄 arXiv: 2511.11212v1 📥 PDF

作者: Mohammad Areeb Qazi, Munachiso S Nwadike, Ibrahim Almakky, Mohammad Yaqub, Numan Saeed

分类: cs.CV

发布日期: 2025-11-14

备注: 2 figures, 3 tables

🔗 代码/项目: GITHUB

💡 一句话要点

MAFM^3：用于多模态医学AI的基础模型模块化适配框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像 基础模型 模块化适配 多模态学习 多任务学习

📋 核心要点

  1. 医学影像数据稀缺，为每个领域、模态或任务单独预训练模型极具挑战。
  2. MAFM^3框架通过模块化组件，使基础模型能灵活适配不同任务和模态。
  3. 实验表明，该框架在胸部CT预后、分割以及PET扫描整合方面均有提升。

📝 摘要（中文）

本文提出MAFM^3（用于多模态医学AI的基础模型模块化适配框架），旨在解决医学影像领域数据稀缺导致的预训练难题。该框架通过轻量级的模块化组件，使单个基础模型能够扩展到不同的领域、任务和模态。这些组件作为专门的技能集，允许系统在推理时根据输入类型或临床目标灵活地激活相应能力。与孤立地处理每个新任务或模态的传统适配方法不同，MAFM^3提供了一个统一且可扩展的框架，用于高效的多任务和多模态适配。实验结果表明，通过将最初为分类而训练的胸部CT基础模型适配到预后和分割模块，该方法在两项任务上均取得了性能提升。此外，通过整合PET扫描，MAFM^3在Dice系数上比相应的基线提高了5%。这些发现表明，配备模块化组件的基础模型并非固有地受限于其初始训练范围，而是可以发展成为用于医学影像的多任务、多模态系统。

🔬 方法详解

问题定义：医学影像领域面临数据稀缺的挑战，为每个特定任务或模态训练单独的模型成本高昂且效率低下。现有的适配方法通常孤立地处理每个新任务或模态，缺乏统一性和可扩展性。

核心思路：MAFM^3的核心思想是利用模块化组件来扩展基础模型的能力，使其能够适应不同的任务和模态。通过将特定任务或模态相关的知识封装在独立的模块中，可以灵活地激活或组合这些模块，从而实现高效的多任务和多模态适配。这种方法避免了从头开始训练新模型或对整个基础模型进行微调的需要。

技术框架：MAFM^3框架包含一个预训练的基础模型和一系列可插拔的模块化组件。基础模型负责提取通用的图像特征，而每个模块则专注于特定的任务或模态。在推理时，根据输入类型和临床目标，选择性地激活相应的模块。例如，对于胸部CT图像，可以选择预后模块或分割模块；对于PET扫描，可以选择与CT图像融合的模块。整个框架支持动态地添加新的模块，从而实现持续的扩展和改进。

关键创新：MAFM^3的关键创新在于其模块化的设计，它允许基础模型通过轻量级的组件来扩展其能力，而无需重新训练整个模型。这种方法不仅提高了适配效率，还使得模型能够灵活地适应新的任务和模态。与传统的微调方法相比，MAFM^3更加高效和可扩展。

关键设计：具体的模块设计取决于所要解决的任务和模态。例如，预后模块可能包含一个全连接网络，用于预测患者的生存率；分割模块可能包含一个U-Net结构，用于分割病灶区域。损失函数的选择也取决于具体的任务，例如，可以使用交叉熵损失函数进行分类，使用Dice损失函数进行分割。论文中可能使用了特定的参数初始化方法或正则化技术来提高模型的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MAFM^3框架在胸部CT预后和分割任务上均取得了性能提升。具体而言，通过将最初为分类而训练的胸部CT基础模型适配到预后和分割模块，该方法在两项任务上均取得了显著的性能提升。此外，通过整合PET扫描，MAFM^3在Dice系数上比相应的基线提高了5%。这些结果验证了MAFM^3框架的有效性和优越性。

🎯 应用场景

MAFM^3框架具有广泛的应用前景，可用于构建多任务、多模态的医学影像分析系统。例如，可以利用该框架开发一个能够同时进行疾病诊断、预后预测和治疗方案推荐的智能辅助诊断平台。此外，该框架还可以应用于医学影像教育和研究，帮助医生和研究人员更好地理解和利用医学影像数据。未来，MAFM^3有望成为推动医学人工智能发展的重要技术。

📄 摘要（原文）

Foundational models are trained on extensive datasets to capture the general trends of a domain. However, in medical imaging, the scarcity of data makes pre-training for every domain, modality, or task challenging. Instead of building separate models, we propose MAFM^3 (Modular Adaptation of Foundation Models for Multi-Modal Medical AI), a framework that enables a single foundation model to expand into diverse domains, tasks, and modalities through lightweight modular components. These components serve as specialized skill sets that allow the system to flexibly activate the appropriate capability at the inference time, depending on the input type or clinical objective. Unlike conventional adaptation methods that treat each new task or modality in isolation, MAFM^3 provides a unified and expandable framework for efficient multitask and multimodality adaptation. Empirically, we validate our approach by adapting a chest CT foundation model initially trained for classification into prognosis and segmentation modules. Our results show improved performance on both tasks. Furthermore, by incorporating PET scans, MAFM^3 achieved an improvement in the Dice score 5% compared to the respective baselines. These findings establish that foundation models, when equipped with modular components, are not inherently constrained to their initial training scope but can evolve into multitask, multimodality systems for medical imaging. The code implementation of this work can be found at https://github.com/Areeb2735/CTscan_prognosis_VLM