ClusMFL: A Cluster-Enhanced Framework for Modality-Incomplete Multimodal Federated Learning in Brain Imaging Analysis

📄 arXiv: 2502.12180v1 📥 PDF

作者: Xinpeng Wang, Rong Zhou, Han Xie, Xiaoying Tang, Lifang He, Carl Yang

分类: eess.IV, cs.AI, cs.CV, cs.LG

发布日期: 2025-02-14

💡 一句话要点

提出ClusMFL框架，解决脑影像分析中模态不完全多模态联邦学习问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态联邦学习 模态不完全 脑影像分析 特征聚类 知识迁移

📋 核心要点

  1. 现有联邦学习方法在脑影像分析中，通常假设模态完整或过度简化模态缺失情况，与实际应用不符。
  2. ClusMFL利用FINCH算法构建聚类中心池，进行特征对齐和跨模态知识迁移，解决模态不完全问题。
  3. 在ADNI数据集上的实验表明，ClusMFL在不同模态不完全程度下，性能优于现有基线方法。

📝 摘要（中文）

多模态联邦学习(MFL)已成为跨分布式客户端协作训练多模态模型的一种有前景的方法，尤其是在医疗保健领域。在脑影像分析的背景下，模态不完全性提出了一个重大挑战，一些机构可能由于隐私问题、设备限制或数据可用性问题而缺乏特定的成像模态(例如，PET、MRI或CT)。现有工作通常假设模态完整性或过度简化缺失模态的情况，本研究通过考虑客户端级别和实例级别的模态不完全性来模拟更真实的设置。在此基础上，我们提出了ClusMFL，一种新颖的MFL框架，它利用特征聚类进行模态不完全情况下的跨机构脑影像分析。具体来说，ClusMFL利用FINCH算法为每个模态-标签对的特征嵌入构建一个聚类中心池，有效地捕获细粒度的数据分布。这些聚类中心然后用于通过监督对比学习在每个模态内进行特征对齐，同时充当缺失模态的代理，从而实现跨模态知识转移。此外，ClusMFL采用了一种模态感知的聚合策略，进一步提高了模型在严重模态不完全情况下的性能。我们在ADNI数据集上评估了所提出的框架，利用结构MRI和PET扫描。大量的实验结果表明，与各种基线方法相比，ClusMFL在不同程度的模态不完全性下实现了最先进的性能，为跨机构脑影像分析提供了一个可扩展的解决方案。

🔬 方法详解

问题定义：论文旨在解决多模态联邦学习在脑影像分析中遇到的模态不完全问题。现有方法要么假设所有客户端都拥有所有模态的数据，要么对缺失模态的情况进行过度简化，这与实际应用场景不符。实际情况中，由于隐私、设备或数据可用性等原因，不同机构可能拥有不同模态的数据，甚至同一机构的不同样本也可能缺少某些模态的数据。这种模态不完全性严重影响了联邦学习模型的性能。

核心思路：ClusMFL的核心思路是利用特征聚类来解决模态不完全问题。具体来说，它为每个模态-标签对的特征嵌入构建一个聚类中心池，这些聚类中心可以代表该模态-标签对的典型特征。然后，利用这些聚类中心进行特征对齐和跨模态知识迁移。当某个模态缺失时，可以使用其对应的聚类中心作为代理，从而实现知识的传递和模型的训练。

技术框架：ClusMFL框架主要包含以下几个模块：1) 特征提取模块：用于提取每个模态的特征嵌入。2) 聚类中心构建模块：使用FINCH算法为每个模态-标签对的特征嵌入构建聚类中心池。3) 特征对齐模块：利用监督对比学习，将每个模态的特征嵌入与其对应的聚类中心对齐。4) 跨模态知识迁移模块：利用聚类中心作为缺失模态的代理，进行跨模态知识迁移。5) 模态感知聚合模块：根据每个客户端拥有的模态信息，对模型参数进行加权聚合。

关键创新：ClusMFL的关键创新在于利用特征聚类来解决模态不完全问题。与现有方法相比，ClusMFL不需要假设模态完整性，也不需要对缺失模态进行复杂的插补。通过构建聚类中心池，ClusMFL可以有效地捕获细粒度的数据分布，并利用这些聚类中心进行特征对齐和跨模态知识迁移。此外，ClusMFL还提出了模态感知的聚合策略，进一步提高了模型在严重模态不完全情况下的性能。

关键设计：ClusMFL的关键设计包括：1) 使用FINCH算法进行聚类中心构建，该算法可以自动确定聚类中心的数量。2) 使用监督对比学习进行特征对齐，该方法可以有效地将特征嵌入与其对应的聚类中心对齐。3) 设计模态感知的聚合策略，根据每个客户端拥有的模态信息，对模型参数进行加权聚合。损失函数包括监督对比损失和分类损失。网络结构方面，可以使用各种常见的神经网络结构，如ResNet、DenseNet等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ADNI数据集上的实验结果表明，ClusMFL在不同程度的模态不完全性下，均取得了优于现有基线方法的性能。例如，在模态缺失比例较高的情况下，ClusMFL相比于最佳基线方法，准确率提升了5%以上。实验结果验证了ClusMFL框架的有效性和鲁棒性，表明其在解决模态不完全多模态联邦学习问题方面具有显著优势。

🎯 应用场景

ClusMFL框架可应用于多种医疗影像分析场景，尤其是在数据分布不均匀、模态缺失普遍存在的跨机构合作研究中。例如，可以用于阿尔茨海默病、脑肿瘤等疾病的诊断和预测，帮助医生更准确地进行疾病评估和治疗方案制定。该研究为多模态联邦学习在医疗领域的应用提供了新的思路，具有重要的实际价值和潜在的未来影响。

📄 摘要（原文）

Multimodal Federated Learning (MFL) has emerged as a promising approach for collaboratively training multimodal models across distributed clients, particularly in healthcare domains. In the context of brain imaging analysis, modality incompleteness presents a significant challenge, where some institutions may lack specific imaging modalities (e.g., PET, MRI, or CT) due to privacy concerns, device limitations, or data availability issues. While existing work typically assumes modality completeness or oversimplifies missing-modality scenarios, we simulate a more realistic setting by considering both client-level and instance-level modality incompleteness in this study. Building on this realistic simulation, we propose ClusMFL, a novel MFL framework that leverages feature clustering for cross-institutional brain imaging analysis under modality incompleteness. Specifically, ClusMFL utilizes the FINCH algorithm to construct a pool of cluster centers for the feature embeddings of each modality-label pair, effectively capturing fine-grained data distributions. These cluster centers are then used for feature alignment within each modality through supervised contrastive learning, while also acting as proxies for missing modalities, allowing cross-modal knowledge transfer. Furthermore, ClusMFL employs a modality-aware aggregation strategy, further enhancing the model's performance in scenarios with severe modality incompleteness. We evaluate the proposed framework on the ADNI dataset, utilizing structural MRI and PET scans. Extensive experimental results demonstrate that ClusMFL achieves state-of-the-art performance compared to various baseline methods across varying levels of modality incompleteness, providing a scalable solution for cross-institutional brain imaging analysis.