FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging

📄 arXiv: 2607.13386v1 📥 PDF

作者: Shengchao Chen, Ting Shu

分类: cs.CV

发布日期: 2026-07-15

备注: Accepted by ACM MM 2026 (Main Track): the 34th ACM International Conference on Multimedia

💡 一句话要点

提出FM$^2$框架以解决异构多模态医学影像的联合学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 医学影像 多模态学习 混合专家 模态对齐 深度学习 模型迁移 隐私保护

📋 核心要点

  1. 现有联邦基础模型在医学影像领域面临数据隐私问题，导致模型迁移效果不佳，缺乏任务统一性。
  2. FM$^2$框架通过从头训练核心网络，结合双混合专家模块和异构模态对齐，解决了模态异构性问题。
  3. 在MIMH基准和真实世界医学VQA数据集上，FM$^2$在分类和CEL任务上表现优越，展现出强大的跨模态泛化能力。

📝 摘要（中文）

构建医学影像的基础模型需要跨机构汇聚数据，但隐私法规禁止集中聚合。现有的联邦基础模型要么在自然图像模型上进行微调，导致医学领域迁移效果差，要么在单一模态内从头训练，缺乏任务统一的灵活性。本文提出FM$^2$框架，旨在解决影像模态异构性问题，支持重叠和非重叠两种结构模式。FM$^2$通过从头训练核心骨干网络，保持医学领域的保真度，并结合生物医学预训练编码器实现视觉-语言对齐。该框架还引入双混合专家模块和异构模态对齐正则化，确保了收敛性和泛化保证。实验结果表明，FM$^2$在多个任务上超越了现有的联邦基线。

🔬 方法详解

问题定义：本文解决的是医学影像领域中由于隐私法规限制而导致的数据聚合问题，现有方法在模态异构性和任务统一性方面存在不足。

核心思路：FM$^2$框架通过从头训练核心骨干网络，保持医学领域的保真度，同时引入生物医学预训练编码器，以实现视觉与语言的对齐，增强模型的灵活性和适应性。

技术框架：FM$^2$的整体架构包括双混合专家模块，其中一个是针对类别知识的Class-wise MoE，另一个是用于跨模态共享表示的Domain-wise MoE。此外，框架中还引入了异构模态对齐正则化（HMA），确保模态特定专家参数的对齐。

关键创新：FM$^2$的主要创新在于其双混合专家模块和异构模态对齐正则化，显著提升了模型在异构模态下的学习能力和泛化性能，这与现有方法的单一模态训练或简单微调形成鲜明对比。

关键设计：在设计中，FM$^2$采用了局部保留的GPT-4o生成的文本描述作为语义桥梁，促进了不同模态间的表示转移。此外，模型的收敛性保证为$O(1/ ext{sqrt{T}})$，确保了训练的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIMH基准和真实世界医学VQA数据集上的实验结果显示，FM$^2$在分类和Caption-Enhanced Learning任务上均超越了现有的联邦基线，表现出显著的性能提升，尤其是在跨模态泛化能力上，验证了其有效性和优越性。

🎯 应用场景

FM$^2$框架在医学影像分析、临床决策支持和多模态学习等领域具有广泛的应用潜力。通过有效整合不同模态的数据，FM$^2$能够提升医学影像的诊断精度和效率，推动个性化医疗的发展。未来，该框架也可扩展至其他领域的联邦学习任务，具有重要的实际价值。

📄 摘要（原文）

Building foundation models for medical imaging requires pooling data across institutions, yet privacy regulations prohibit centralized aggregation. Existing Federated Foundation Models either fine-tune natural-image models with poor medical-domain transfer, or train from scratch within a single modality, lacking the flexibility to unify tasks. We identify an under-explored challenge, Imaging Modality Heterogeneity, where clients operate under two structural regimes: Overlapped (shared modalities with heterogeneous label distributions) and Non-overlapped (fully disjoint modalities per client). We propose FM$^2$, a unified framework that trains the core backbone from scratch to preserve medical domain fidelity while optionally incorporating biomedical pretrained encoders for vision-language alignment. FM$^2$ equips each client with dual Mixture-of-Experts modules (a Class-wise MoE for personalized category knowledge and a Domain-wise MoE for shared cross-modality representations), coupled with a Heterogeneous Modality Alignment (HMA) regularizer that explicitly aligns modality-specific expert parameters, admitting provable $O(1/\sqrt{T})$ convergence and generalization guarantees. FM$^2$ further incorporates Caption-Enhanced Learning (CEL), where locally retained GPT-4o-generated captions serve as a textual semantic bridge enabling representation transfer across clients with disjoint modalities, and demonstrates extensibility to Federated Medical VQA. Experiments on our MIMH benchmark (classification and CEL) and real-world medical VQA datasets confirm consistent superiority over state-of-the-art federated baselines and strong out-of-modality generalization across all three tasks.