FedMobile: Enabling Knowledge Contribution-aware Multi-modal Federated Learning with Incomplete Modalities
作者: Yi Liu, Cong Wang, Xingliang Yuan
分类: cs.LG, cs.AI
发布日期: 2025-02-20
备注: The Web Conference 2025
💡 一句话要点
FedMobile：针对模态不全的多模态联邦学习框架，提升移动感知系统鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联邦学习 多模态学习 模态不全 知识贡献 移动感知
📋 核心要点
- 现有方法在处理多模态联邦学习中模态缺失问题时，忽略了跨节点的潜在特征空间，且无法区分低质量节点。
- FedMobile通过知识贡献感知机制，利用跨节点多模态特征重建缺失特征，并进行节点贡献评估和知识贡献感知聚合。
- 实验结果表明，即使在高达90%的模态信息缺失的情况下，FedMobile仍能保持鲁棒学习，优于现有方法。
📝 摘要（中文）
为了增强物联网（WoT）中基于Web和普适计算平台的互操作性，并补充现有的物联网标准，引入了多模态联邦学习（FL）范式，以在保护隐私的同时融合多源移动感知数据。然而，在采用多模态FL的移动感知系统中，一个关键挑战是模态不完整性，即某些模态可能不可用或仅被部分捕获，这可能会降低系统的性能和可靠性。现有的多模态FL框架通常训练多个单模态FL子系统，或在节点侧应用插值技术来近似缺失的模态。然而，这些方法忽略了不同节点间不完整模态之间共享的潜在特征空间，并且未能区分低质量节点。为了解决这个问题，我们提出了FedMobile，一种新的知识贡献感知多模态FL框架，旨在实现即使在模态缺失的情况下也能进行鲁棒学习。FedMobile优先考虑局部到全局的知识转移，利用跨节点的多模态特征信息来重建缺失的特征。它还通过严格的节点贡献评估和知识贡献感知聚合规则来提高系统性能和对模态异质性的弹性。在五个广泛认可的多模态基准数据集上的实证评估表明，即使高达90%的模态信息缺失或两种模态的数据随机缺失，FedMobile也能保持鲁棒学习，优于最先进的基线。
🔬 方法详解
问题定义：论文旨在解决多模态联邦学习中，由于移动设备传感器数据采集的不可靠性导致的模态不完整问题。现有方法如单模态训练或插值填充，无法有效利用跨节点的模态信息，且忽略了节点质量差异，导致模型性能下降。
核心思路：FedMobile的核心思路是利用跨节点的多模态特征信息来重建缺失的特征，并根据节点对全局模型的贡献程度进行加权聚合。通过这种方式，可以有效利用可用信息，并降低低质量节点的影响，从而提高模型的鲁棒性和准确性。
技术框架：FedMobile框架主要包含以下几个阶段：1) 局部模型训练：每个客户端利用本地数据进行模型训练。2) 特征重建：利用其他客户端的模态信息重建缺失的特征。3) 节点贡献评估：评估每个节点对全局模型的贡献程度。4) 知识贡献感知聚合：根据节点贡献度对局部模型进行加权聚合，得到全局模型。
关键创新：FedMobile的关键创新在于知识贡献感知的聚合策略和跨节点的特征重建机制。传统的联邦学习方法通常采用简单的平均聚合，而FedMobile则根据节点贡献度进行加权聚合，从而更好地利用高质量节点的信息。此外，跨节点的特征重建机制可以有效利用其他节点的信息来弥补本地缺失的模态，从而提高模型的鲁棒性。
关键设计：在特征重建阶段，可以使用自编码器等方法学习模态之间的共享潜在特征空间，并利用该空间进行特征重建。节点贡献度可以通过计算局部模型更新对全局模型性能的影响来评估。聚合权重可以根据节点贡献度进行归一化。损失函数可以包含重建损失和分类损失，以同时优化特征重建和分类性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在五个广泛认可的多模态基准数据集上，即使高达90%的模态信息缺失或两种模态的数据随机缺失，FedMobile也能保持鲁棒学习，显著优于现有的基线方法。这证明了FedMobile在处理模态不完整问题上的有效性。
🎯 应用场景
FedMobile可应用于各种依赖多模态移动感知数据的场景，例如智能健康监测、环境感知、行为识别等。通过该框架，即使在数据不完整或设备异构的情况下，也能构建高性能的联邦学习模型，从而实现更智能、更可靠的移动服务。
📄 摘要（原文）
The Web of Things (WoT) enhances interoperability across web-based and ubiquitous computing platforms while complementing existing IoT standards. The multimodal Federated Learning (FL) paradigm has been introduced to enhance WoT by enabling the fusion of multi-source mobile sensing data while preserving privacy. However, a key challenge in mobile sensing systems using multimodal FL is modality incompleteness, where some modalities may be unavailable or only partially captured, potentially degrading the system's performance and reliability. Current multimodal FL frameworks typically train multiple unimodal FL subsystems or apply interpolation techniques on the node side to approximate missing modalities. However, these approaches overlook the shared latent feature space among incomplete modalities across different nodes and fail to discriminate against low-quality nodes. To address this gap, we present FedMobile, a new knowledge contribution-aware multimodal FL framework designed for robust learning despite missing modalities. FedMobile prioritizes local-to-global knowledge transfer, leveraging cross-node multimodal feature information to reconstruct missing features. It also enhances system performance and resilience to modality heterogeneity through rigorous node contribution assessments and knowledge contribution-aware aggregation rules. Empirical evaluations on five widely recognized multimodal benchmark datasets demonstrate that FedMobile maintains robust learning even when up to 90% of modality information is missing or when data from two modalities are randomly missing, outperforming state-of-the-art baselines.