OmniMed-FL: A Robust Multimodal Federated Learning Framework for Clinical Diagnosis

📄 arXiv: 2609.10364v1 📥 PDF

作者: Ayush Debnath, Ruelia Saha, Sudip Misra

分类: cs.LG, cs.AI

发布日期: 2026-09-09

备注: Accepted in IEEE Globecom 2026, E-Health

💡 一句话要点

提出OmniMed-FL以解决临床诊断中的多模态数据融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 联邦学习 临床诊断 医学影像 数据隐私 机器学习 模型评估

📋 核心要点

  1. 现有的机器学习方法无法有效处理医学影像与患者记录的多模态数据，导致临床诊断中的信息孤岛。
  2. OmniMed-FL框架通过多模态联邦学习，安全地融合视觉和文本数据，支持临床条件的分类任务。
  3. 实验结果表明，OmniMed-FL在多模态融合上取得了显著提升，F1得分在不同数据集上均优于单一模态的表现。

📝 摘要（中文）

在临床诊断中，通常需要同时评估医学影像和患者记录。然而，标准的机器学习算法无法同时分析这些数据类型。同时，遵循HIPAA和GDPR的要求限制了敏感患者数据的集中聚合。因此，安全融合视觉和文本上下文的需求变得尤为重要。为此，本文提出了OmniMed-FL，一个多模态联邦学习框架，用于五类临床状况分类（正常、肺炎、COVID-19、胸腔积液、心脏肥大）。该框架在3到20个医院客户端下，基于非IID Dirichlet划分，评估了八种融合策略、三种初始化方式和四种缺失文本插补规则。实验结果显示，OmniMed-FL在多模态融合上表现优异，显著提升了分类性能。

🔬 方法详解

问题定义：本文旨在解决医学影像与患者记录的多模态数据融合问题，现有方法在处理这些数据时存在信息孤立和隐私保护的挑战。

核心思路：提出OmniMed-FL框架，通过联邦学习实现多模态数据的安全融合，允许不同医院在不共享敏感数据的情况下进行协同学习。

技术框架：OmniMed-FL框架包括数据预处理、模型训练、融合策略评估等模块，采用非IID Dirichlet划分来模拟真实世界中的数据分布。

关键创新：该框架的创新在于结合了多模态数据的联邦学习，允许在不同医院间进行有效的知识共享，同时遵循数据隐私法规。

关键设计：实验中使用了八种不同的融合策略、三种初始化方法和四种缺失文本插补规则，确保了模型在多种场景下的鲁棒性和适应性。实验还考虑了不同客户端数量和标签偏斜对模型性能的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在多模态融合的情况下，OmniMed-FL在合成数据集上获得了0.956的F1得分，而单一文本和图像的得分分别为0.934和0.664，显示出显著的性能提升。此外，在真实影像数据集上，OmniMed-FL同样表现优异，进一步验证了其有效性。

🎯 应用场景

OmniMed-FL框架在医疗领域具有广泛的应用潜力，能够帮助医院在保护患者隐私的前提下，利用多模态数据提升临床诊断的准确性。未来，该框架可扩展至其他医疗数据类型的融合与分析，推动智能医疗的发展。

📄 摘要（原文）

Simultaneous assessment of medical imaging and patient records is often required in clinical diagnosis. However, standard machine learning algorithms cannot analyze these data types together. Meanwhile, compliance with HIPAA and GDPR can constrain centralized aggregation of sensitive patient data. This leaves a crucial void of secure fusion of visual and textual context across distant networks. Thus, we present OmniMed-FL, a controlled systems study of multimodal federated learning for five-class clinical condition classification (Normal, Pneumonia, COVID-19, Pleural Effusion, Cardiomegaly). Our proxy corpus pairs 3,000 public chest radiographs with 3,000 class-conditioned synthetic notes, matched by class, not by patient. The framework benchmarks eight fusion strategies, three initializations, four missing-text imputation rules, and matched federated baselines under non-IID Dirichlet partitioning across 3 to 20 hospital clients. As all notes are synthetic and pairing is not patient-level, these are descriptive proxy comparisons, not estimates of diagnostic performance or deployment readiness. Within those limits with clients ($K=5$) and severe skew ($α=0.1$), local-only training achieves a macro-F1 score of 0.297, FedAvg achieves $0.662\pm0.074$, FedProx $0.737\pm0.085$, a matched FedMME-style one-shot ensemble $0.647\pm0.080$, and our SCAFFOLD-AdamW adaptation $0.070\pm0.015$, the 0.075 FedProx-FedAvg gap falling inside the wider of the two two-seed standard deviations. Over a $4\times3$ grid, label skew costs up to 0.27 F1 whereas a near-sevenfold client increase costs at most 0.10, while bidirectional volume grows linearly to 183.5 GiB at $K=20$. Multimodal fusion leads on both corpora, scoring 0.956 against 0.934 for text and 0.664 for images on the synthetic corpus and 0.906 against 0.880 and 0.737 on the radiograph corpus, for $2.3\times$ the model state of text alone.