Reliability-Aware Probabilistic Fusion for Multimodal Learning with Incomplete Evidence
作者: Patitapaban Palo, Abhisek Tiwari, Mattia Carletti, Anshul Thakur, Xiao Gu, David A. Clifton
分类: cs.LG
发布日期: 2026-10-21
💡 一句话要点
提出可靠性感知的高斯专家融合方法以解决多模态学习中的证据缺失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 可靠性感知 高斯专家融合 证据控制 临床应用
📋 核心要点
- 现有多模态学习方法在处理缺失或退化输入时面临证据可用性和可信度的挑战，影响模型性能。
- 本文提出了一种可靠性感知的高斯专家融合方法，通过输入相关的可靠性权重来调节模态精度，省略缺失的专家。
- 在两个临床多模态任务中，提出的方法在模态缺失情况下表现优越，特别是在HAIM-MIMIC-MM数据集上，平均AUROC显著提升。
📝 摘要（中文）
多模态输入可能会缺失或退化，导致证据可用性和可信度的问题。本文提出了一种可靠性感知的高斯专家融合方法，其中输入相关的可靠性权重调节每种模态的潜在精度，同时省略缺失的专家。我们分析了可靠性和可用性如何影响后验信息和专家影响力。在两个临床多模态任务中，该框架在完整输入下保持竞争力，并在模态缺失时，尤其是在HAIM-MIMIC-MM数据集上，表现出明显的平均AUROC优势。消融实验显示，缺失感知训练带来了显著的提升，而在匹配的高斯专家融合、缺失感知和一致性训练下，可靠性加权进一步改善了HAIM的表现。未见的测试时腐蚀用于诊断，揭示了模态依赖的可靠性权重和潜在不确定性响应，包括在严重退化下的失败。因此，可靠性加权提供了一种明确的证据控制机制，而学习可靠的质量信号仍然是一个开放的挑战。
🔬 方法详解
问题定义：本文旨在解决多模态学习中输入缺失或退化导致的证据可用性和可信度问题。现有方法在处理这些情况时往往无法有效利用可用信息，导致性能下降。
核心思路：提出的可靠性感知高斯专家融合方法通过引入输入相关的可靠性权重，动态调整每种模态的潜在精度，同时省略缺失的模态专家，从而提高模型在不完整证据下的表现。
技术框架：该方法的整体架构包括多个模块：首先是模态输入的可靠性评估，其次是高斯专家融合的实现，最后是后验信息的计算与优化。每个模块都考虑了输入的可靠性和可用性。
关键创新：最重要的技术创新在于引入了可靠性权重机制，使得模型能够根据输入的质量动态调整模态的影响力。这一设计与传统方法的静态处理方式形成鲜明对比，显著提升了在模态缺失情况下的鲁棒性。
关键设计：在模型设计中，采用了特定的损失函数来优化可靠性权重的学习，并结合了缺失感知训练策略。此外，网络结构中引入了高斯分布的参数化表示，以便更好地捕捉模态间的潜在关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在HAIM-MIMIC-MM数据集上实现了显著的平均AUROC提升，尤其在模态缺失情况下表现优越。消融实验显示，缺失感知训练和可靠性加权的结合带来了显著的性能提升，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、智能监护系统和多模态数据融合等。通过提高模型在缺失或退化输入情况下的鲁棒性，能够在临床决策支持、疾病预测等实际场景中发挥重要作用，未来可能推动相关领域的技术进步和应用普及。
📄 摘要（原文）
Multimodal inputs may be missing or degraded, raising distinct questions of evidence availability and trust. We introduce a reliability-aware Gaussian Product-of-Experts (PoE) in which an input-dependent reliability weight tempers each modality's latent precision, while missing experts are omitted. We characterize how reliability and availability affect posterior information and expert influence. Across two clinical multimodal tasks, the full framework remains competitive with complete inputs and achieves its clearest mean-AUROC advantage under modality absence, particularly on HAIM-MIMIC-MM. Ablations show a substantial gain from missing-aware training and an additional HAIM improvement from reliability weighting under matched PoE, missing-aware, and consistency training. Unseen test-time corruptions are used diagnostically and reveal modality-dependent reliability-weight and latent-uncertainty responses, including failure under severe degradation. Thus, reliability weighting provides an explicit evidence-control mechanism, while learning dependable quality signals remains an open challenge.