Multimodal Federated Learning: A Survey through the Lens of Different FL Paradigms

📄 arXiv: 2505.21792v1 📥 PDF

作者: Yuanzhe Peng, Jieming Bian, Lei Wang, Yin Huang, Jie Xu

分类: cs.LG, cs.AI

发布日期: 2025-05-27

💡 一句话要点

多模态联邦学习综述：从不同联邦学习范式的视角分析挑战与机遇

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态联邦学习 联邦学习 水平联邦学习 垂直联邦学习 混合联邦学习 模态异构性 隐私保护 分布式学习

📋 核心要点

  1. 现有联邦学习方法在处理多模态数据时，面临模态异构、隐私异构和通信效率等新挑战。
  2. 本文从水平、垂直和混合联邦学习三种范式出发，系统性地分析多模态联邦学习面临的挑战。
  3. 该综述旨在为多模态联邦学习领域的研究人员提供一个理解和推进该领域发展的新视角。

📝 摘要（中文）

多模态联邦学习(MFL)位于两个关键研究领域的交叉点：利用来自多个模态的互补信息来提高下游推理性能，以及实现分布式训练以提高效率和保护隐私。尽管人们对MFL的兴趣日益浓厚，但目前还没有一个全面的分类法，能够从不同联邦学习(FL)范式的角度来组织MFL。这种视角非常重要，因为多模态数据在各种FL设置中引入了独特的挑战。这些挑战，包括模态异构性、隐私异构性和通信低效性，与传统单模态或非FL场景中遇到的挑战根本不同。在本文中，我们系统地研究了三种主要的FL范式背景下的MFL：水平FL(HFL)、垂直FL(VFL)和混合FL。对于每种范式，我们都提出了问题公式，回顾了具有代表性的训练算法，并强调了多模态数据在分布式设置中引入的最突出的挑战。我们还讨论了开放的挑战，并为未来的研究提供了见解。通过建立这种分类法，我们旨在从不同FL范式的角度揭示多模态数据带来的新挑战，并提供一个新的视角来理解和推进MFL的发展。

🔬 方法详解

问题定义：现有的联邦学习方法主要针对单模态数据设计，当应用于多模态数据时，会面临以下痛点：1) 模态异构性，不同模态的数据分布差异大；2) 隐私异构性，不同模态的数据可能涉及不同敏感程度的隐私信息；3) 通信低效性，多模态数据的传输和聚合会增加通信负担。这些问题限制了多模态联邦学习的性能和应用。

核心思路：本文的核心思路是将多模态联邦学习置于不同的联邦学习范式（水平、垂直和混合）下进行分析，从而揭示多模态数据在不同场景下带来的独特挑战。通过这种分类，可以更清晰地理解不同联邦学习范式下多模态数据处理的关键问题，并为未来的研究提供指导。

技术框架：本文的整体框架如下：1) 介绍联邦学习的基本概念和三种主要范式（HFL、VFL、Hybrid FL）；2) 针对每种范式，详细阐述多模态联邦学习的问题定义、代表性算法和面临的挑战；3) 讨论多模态联邦学习的开放性问题和未来研究方向。每个范式下的讨论都包括问题公式化、算法回顾和挑战分析三个主要模块。

关键创新：本文的创新之处在于提出了一个从联邦学习范式角度理解多模态联邦学习的分类框架。与以往的研究不同，本文不是简单地将多模态学习和联邦学习结合，而是深入分析了多模态数据在不同联邦学习场景下带来的独特挑战，从而为该领域的研究提供了新的视角。

关键设计：本文的关键设计在于针对每种联邦学习范式，都详细分析了多模态数据带来的具体挑战，并回顾了相关的算法。例如，在水平联邦学习中，重点关注如何处理不同客户端的模态缺失问题；在垂直联邦学习中，重点关注如何保护不同参与方的模态隐私；在混合联邦学习中，重点关注如何平衡不同模态和参与方的贡献。此外，本文还讨论了如何设计有效的多模态融合策略和通信压缩方法，以提高多模态联邦学习的性能和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

本文是一篇综述性文章，没有具体的实验结果。其亮点在于系统性地分析了多模态联邦学习在不同联邦学习范式下的挑战，并为未来的研究方向提供了有价值的见解。通过对现有算法的回顾和对开放性问题的讨论，本文为研究人员提供了一个全面的多模态联邦学习的知识框架。

🎯 应用场景

多模态联邦学习在医疗健康、自动驾驶、金融风控等领域具有广泛的应用前景。例如，在医疗健康领域，可以利用患者的基因数据、影像数据和临床数据进行联合建模，提高疾病诊断的准确性，同时保护患者的隐私。在自动驾驶领域，可以融合车载摄像头、雷达和激光雷达等传感器数据，提高环境感知的可靠性。在金融风控领域，可以结合用户的交易记录、社交行为和信用信息，提高风险评估的准确性。

📄 摘要（原文）

Multimodal Federated Learning (MFL) lies at the intersection of two pivotal research areas: leveraging complementary information from multiple modalities to improve downstream inference performance and enabling distributed training to enhance efficiency and preserve privacy. Despite the growing interest in MFL, there is currently no comprehensive taxonomy that organizes MFL through the lens of different Federated Learning (FL) paradigms. This perspective is important because multimodal data introduces distinct challenges across various FL settings. These challenges, including modality heterogeneity, privacy heterogeneity, and communication inefficiency, are fundamentally different from those encountered in traditional unimodal or non-FL scenarios. In this paper, we systematically examine MFL within the context of three major FL paradigms: horizontal FL (HFL), vertical FL (VFL), and hybrid FL. For each paradigm, we present the problem formulation, review representative training algorithms, and highlight the most prominent challenge introduced by multimodal data in distributed settings. We also discuss open challenges and provide insights for future research. By establishing this taxonomy, we aim to uncover the novel challenges posed by multimodal data from the perspective of different FL paradigms and to offer a new lens through which to understand and advance the development of MFL.