Probabilistic Feature Imputation and Uncertainty-Aware Multimodal Federated Aggregation

📄 arXiv: 2604.12970v1 📥 PDF

作者: Nafis Fuad Shahid, Maroof Ahmed, Md Akib Haider, Saidur Rahman Sagor, Aashnan Rahman, Md Azam Hossain

分类: eess.IV, cs.CV

发布日期: 2026-04-14

备注: Accepted for publication at the Medical Imaging with Deep Learning (MIDL) 2026 conference

💡 一句话要点

提出P-FIN，解决多模态联邦学习中特征缺失和不确定性问题，提升医疗诊断安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态联邦学习 特征补全 不确定性估计 医疗影像分析 变分自编码器

📋 核心要点

  1. 多模态联邦学习面临模态缺失问题，现有特征补全方法缺乏不确定性评估，影响医疗诊断的可靠性。
  2. 提出概率特征补全网络（P-FIN），输出带有不确定性估计的补全特征，用于局部特征加权和全局模型聚合。
  3. 实验表明，P-FIN在联邦胸部X射线分类任务中，相较于确定性基线，AUC指标提升显著，尤其在复杂场景下。

📝 摘要（中文）

多模态联邦学习实现了跨医疗机构的隐私保护协同模型训练。然而，模态异构性带来根本挑战：由于资源限制或工作流程差异，许多临床站点仅拥有模态子集。现有方法通过特征补全网络合成缺失模态的表示，但这些方法产生的是点估计，缺乏可靠性度量，迫使下游分类器将所有补全特征视为同等可信。在安全攸关的医疗应用中，这种局限性带来重大风险。我们提出了概率特征补全网络（P-FIN），它在补全特征的同时输出校准的不确定性估计。这种不确定性在两个层面被利用：（1）局部地，通过sigmoid门控衰减不可靠的特征维度，然后再进行分类；（2）全局地，通过Fed-UQ-Avg聚合策略，优先考虑来自具有可靠补全的客户端的更新。在CheXpert、NIH Open-I和PadChest上进行的联邦胸部X射线分类实验表明，与确定性基线相比，性能得到持续提升，在最具挑战性的配置中AUC增益达到+5.36%。

🔬 方法详解

问题定义：论文旨在解决多模态联邦学习中，由于各客户端拥有的模态不完整，导致模型训练受限的问题。现有特征补全方法通常输出确定性的补全特征，忽略了补全过程中的不确定性，使得下游分类器无法区分原始特征和补全特征的可靠性，尤其在医疗领域，这可能导致误诊等严重后果。

核心思路：论文的核心思路是在特征补全过程中引入不确定性估计，使得模型能够感知补全特征的可靠程度。通过概率模型预测补全特征的均值和方差，从而量化补全的不确定性。这种不确定性信息被用于后续的特征加权和模型聚合，以提升模型的鲁棒性和准确性。

技术框架：整体框架包含三个主要部分：1) 概率特征补全网络（P-FIN）：用于对缺失的模态特征进行补全，并输出补全特征的均值和方差，表示不确定性。2) 局部不确定性门控：利用sigmoid函数，根据P-FIN输出的方差对补全特征进行加权，降低不可靠特征的权重。3) 全局联邦聚合：提出Fed-UQ-Avg算法，在联邦学习的聚合过程中，根据客户端补全特征的不确定性，动态调整客户端的权重，优先考虑来自补全质量高的客户端的更新。

关键创新：论文的关键创新在于将不确定性估计引入到多模态联邦学习的特征补全过程中。与传统的确定性补全方法不同，P-FIN能够输出补全特征的不确定性信息，从而使得模型能够更加智能地处理缺失模态的问题。此外，Fed-UQ-Avg聚合算法能够有效地利用这些不确定性信息，提升联邦学习的性能。

关键设计：P-FIN使用变分自编码器（VAE）结构，将缺失模态的特征映射到隐空间，然后从隐空间重构出补全特征。损失函数包括重构损失和KL散度损失，用于保证补全特征的准确性和隐空间的分布特性。sigmoid门控使用补全特征方差的sigmoid函数值作为权重，对补全特征进行加权。Fed-UQ-Avg算法根据客户端补全特征方差的平均值，计算客户端的权重，方差越小，权重越大。

📊 实验亮点

实验结果表明，P-FIN在联邦胸部X射线分类任务中取得了显著的性能提升。在最具挑战性的配置下，P-FIN相较于确定性基线，AUC指标提升了5.36%。此外，实验还验证了P-FIN在不同模态缺失情况下的鲁棒性，以及Fed-UQ-Avg聚合算法的有效性。

🎯 应用场景

该研究成果可应用于多模态医疗数据分析，例如结合影像、基因组学和临床数据进行疾病诊断和预测。通过联邦学习，可以在保护患者隐私的前提下，利用不同医疗机构的数据进行协同训练，提升模型的泛化能力和诊断准确性。该方法在远程医疗、个性化医疗等领域具有广阔的应用前景。

📄 摘要（原文）

Multimodal federated learning enables privacy-preserving collaborative model training across healthcare institutions. However, a fundamental challenge arises from modality heterogeneity: many clinical sites possess only a subset of modalities due to resource constraints or workflow variations. Existing approaches address this through feature imputation networks that synthesize missing modality representations, yet these methods produce point estimates without reliability measures, forcing downstream classifiers to treat all imputed features as equally trustworthy. In safety-critical medical applications, this limitation poses significant risks. We propose the Probabilistic Feature Imputation Network (P-FIN), which outputs calibrated uncertainty estimates alongside imputed features. This uncertainty is leveraged at two levels: (1) locally, through sigmoid gating that attenuates unreliable feature dimensions before classification, and (2) globally, through Fed-UQ-Avg, an aggregation strategy that prioritizes updates from clients with reliable imputation. Experiments on federated chest X-ray classification using CheXpert, NIH Open-I, and PadChest demonstrate consistent improvements over deterministic baselines, with +5.36% AUC gain in the most challenging configuration.