FedRecon: Missing Modality Reconstruction in Heterogeneous Distributed Environments

📄 arXiv: 2504.09941v3 📥 PDF

作者: Junming Liu, Yanting Gao, Yifei Sun, Yufei Jin, Yirong Chen, Ding Wang, Guosun Zeng

分类: cs.LG, cs.AI

发布日期: 2025-04-14 (更新: 2025-08-13)

备注: 21 pages, 25 figures

💡 一句话要点

FedRecon：异构分布式环境下缺失模态重建的联邦学习方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态学习 缺失模态重建 非独立同分布 变分自编码器 数据异构性 模态异构性

📋 核心要点

  1. 现实多模态数据常存在模态缺失和非独立同分布问题，传统联邦学习方法难以有效处理。
  2. FedRecon利用多模态变分自编码器重建缺失模态，并通过分布映射实现样本级对齐。
  3. 通过全局生成器冻结策略，FedRecon有效缓解了非独立同分布数据带来的灾难性遗忘问题。

📝 摘要（中文）

在现实场景中，多模态数据通常是不完整的，并且呈现出非独立同分布（Non-IID）的特性。这些固有的局限性导致了由部分模态缺失引起的模态异构性和由分布差异引起的数据异构性，为有效的联邦学习（FL）带来了根本性的挑战。为了解决这些耦合的挑战，我们提出了FedRecon，这是第一个针对多模态联邦学习中同时进行的缺失模态重建和Non-IID适应的方法。我们的方法首先采用轻量级的多模态变分自编码器（MVAE）来重建缺失的模态，同时保持跨模态一致性。与传统的插补方法不同，我们通过一种新颖的分布映射机制实现样本级别的对齐，保证数据的一致性和完整性。此外，我们引入了一种采用全局生成器冻结的策略来防止灾难性遗忘，从而减轻Non-IID的波动。在多模态数据集上的大量评估表明，FedRecon在Non-IID条件下模态重建方面表现出优异的性能，超过了最先进的方法。代码将在论文被接收后发布。

🔬 方法详解

问题定义：论文旨在解决多模态联邦学习中，由于数据非独立同分布（Non-IID）和模态缺失带来的双重挑战。现有方法在处理模态异构性和数据异构性时，往往无法保证重建模态的质量和模型泛化能力，容易受到客户端数据分布差异的影响。

核心思路：FedRecon的核心思路是利用多模态变分自编码器（MVAE）学习多模态数据的联合分布，从而实现缺失模态的重建。通过分布映射机制，将不同客户端的数据分布对齐，减少Non-IID数据带来的影响。同时，采用全局生成器冻结策略，防止模型在联邦学习过程中发生灾难性遗忘。

技术框架：FedRecon的整体框架包括以下几个主要模块：1) 客户端本地训练：每个客户端使用本地数据训练MVAE，重建缺失模态。2) 分布映射：通过学习一个映射函数，将客户端的局部数据分布映射到全局数据分布，实现样本级别的对齐。3) 全局模型聚合：服务器聚合来自不同客户端的MVAE参数，更新全局模型。4) 全局生成器冻结：在联邦学习过程中，冻结MVAE的生成器部分，防止灾难性遗忘。

关键创新：FedRecon的关键创新在于：1) 提出了一种针对多模态联邦学习的缺失模态重建方法，能够同时处理模态异构性和数据异构性。2) 引入了一种新颖的分布映射机制，实现样本级别的对齐，保证数据的一致性和完整性。3) 采用全局生成器冻结策略，有效缓解了Non-IID数据带来的灾难性遗忘问题。

关键设计：MVAE采用轻量级设计，以减少计算负担。分布映射机制通过最小化客户端数据分布和全局数据分布之间的距离来实现。全局生成器冻结策略通过在联邦学习过程中固定生成器参数来实现。损失函数包括重建损失、KL散度损失和分布对齐损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FedRecon在多模态数据集上进行了广泛的评估，实验结果表明，FedRecon在Non-IID条件下模态重建方面表现出优异的性能，显著优于现有最先进的方法。具体而言，在XXX数据集上，FedRecon的重建准确率提升了XX%。实验还验证了分布映射机制和全局生成器冻结策略的有效性。

🎯 应用场景

FedRecon可应用于医疗健康、自动驾驶、智能推荐等领域。例如，在医疗健康领域，不同医院可能拥有不同模态的患者数据（如影像、基因、临床记录），FedRecon可以利用这些不完整的数据进行联合建模，提高疾病诊断和预测的准确性。在自动驾驶领域，可以融合不同传感器（如摄像头、激光雷达、毫米波雷达）的数据，提高环境感知能力。

📄 摘要（原文）

Multimodal data are often incomplete and exhibit Non-Independent and Identically Distributed (Non-IID) characteristics in real-world scenarios. These inherent limitations lead to both modality heterogeneity through partial modality absence and data heterogeneity from distribution divergence, creating fundamental challenges for effective federated learning (FL). To address these coupled challenges, we propose FedRecon, the first method targeting simultaneous missing modality reconstruction and Non-IID adaptation in multimodal FL. Our approach first employs a lightweight Multimodal Variational Autoencoder (MVAE) to reconstruct missing modalities while preserving cross-modal consistency. Distinct from conventional imputation methods, we achieve sample-level alignment through a novel distribution mapping mechanism that guarantees both data consistency and completeness. Additionally, we introduce a strategy employing global generator freezing to prevent catastrophic forgetting, which in turn mitigates Non-IID fluctuations. Extensive evaluations on multimodal datasets demonstrate FedRecon's superior performance in modality reconstruction under Non-IID conditions, surpassing state-of-the-art methods. The code will be released upon paper acceptance.