Embracing Aleatoric Uncertainty in Medical Multimodal Learning with Missing Modalities

📄 arXiv: 2601.21950v1 📥 PDF

作者: Linxiao Gong, Yang Liu, Lianlong Sun, Yulai Bi, Jing Liu, Xiaoguang Zhu

分类: cs.LG

发布日期: 2026-01-29

💡 一句话要点

提出AUM框架，通过建模不确定性解决医学多模态学习中模态缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学多模态学习 模态缺失 不确定性建模 图神经网络 死亡率预测

📋 核心要点

  1. 现有医学多模态学习方法忽略了数据采集的不确定性，且对所有模态同等对待，无法有效处理模态缺失问题。
  2. 论文提出AUM框架，通过将单模态表示建模为多元高斯分布，量化偶然不确定性，从而评估模态的可靠性。
  3. 实验结果表明，AUM框架在MIMIC-IV和eICU数据集上，死亡率预测的AUC-ROC指标均优于现有方法。

📝 摘要（中文）

医学多模态学习在临床实践中面临着模态缺失的严峻挑战。现有方法通常假设模态具有同等贡献，且缺失模式是随机的，忽略了医学数据采集过程中固有的不确定性。为此，我们提出了不确定性建模（AUM）框架，显式地量化单模态的偶然不确定性，以解决模态缺失问题。具体而言，AUM将每个单模态表示建模为多元高斯分布，以捕获偶然不确定性，并实现有原则的模态可靠性量化。为了自适应地聚合捕获的信息，我们在双向患者-模态图中开发了一种动态消息传递机制，使用不确定性感知的聚合机制。通过此过程，可以自然地适应缺失模态，同时动态地强调来自可用模态的更可靠信息，以指导表示生成。我们的AUM框架在MIMIC-IV死亡率预测上实现了2.26%的AUC-ROC提升，在eICU上实现了2.17%的增益，优于现有的最先进方法。

🔬 方法详解

问题定义：医学多模态学习中，由于数据采集过程的限制，经常出现模态缺失的情况。现有方法通常假设所有模态同等重要，并且缺失是随机的，这与实际情况不符。忽略了医学数据固有的不确定性，导致模型性能下降。因此，如何有效处理模态缺失，并充分利用可用模态的信息，是亟待解决的问题。

核心思路：论文的核心思路是显式地建模单模态的偶然不确定性，并利用这种不确定性来指导信息的聚合。通过将每个模态表示建模为多元高斯分布，可以量化其不确定性，并将其作为模态可靠性的指标。在信息聚合过程中，更加重视可靠性高的模态，从而提高模型的鲁棒性和准确性。

技术框架：AUM框架主要包含以下几个模块：1) 单模态表示建模：将每个单模态表示建模为多元高斯分布，得到均值和方差，方差代表了该模态的偶然不确定性。2) 双向患者-模态图构建：构建一个双向图，节点包括患者和模态，边表示患者和模态之间的关联。3) 动态消息传递：在图上进行消息传递，利用不确定性感知的聚合机制，将来自不同模态的信息聚合到患者节点上。4) 预测模块：利用聚合后的患者表示进行预测。

关键创新：AUM框架的关键创新在于显式地建模了单模态的偶然不确定性，并将其用于指导信息的聚合。与现有方法相比，AUM框架能够更好地处理模态缺失问题，并充分利用可用模态的信息。此外，动态消息传递机制能够自适应地调整不同模态的权重，从而提高模型的鲁棒性。

关键设计：在单模态表示建模中，使用多元高斯分布来表示每个模态，方差代表了不确定性。在动态消息传递中，使用注意力机制来计算不同模态的权重，权重与不确定性成反比。损失函数包括预测损失和不确定性正则化项，用于约束不确定性的取值。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

AUM框架在MIMIC-IV死亡率预测任务上，AUC-ROC指标提升了2.26%，在eICU数据集上提升了2.17%，显著优于现有的state-of-the-art方法。实验结果表明，AUM框架能够有效处理模态缺失问题，并充分利用可用模态的信息，从而提高模型的预测性能。

🎯 应用场景

该研究成果可应用于多种医学多模态学习任务，例如疾病诊断、预后预测和风险评估。通过有效处理模态缺失问题，可以提高临床决策的准确性和可靠性，辅助医生进行更精准的治疗方案制定。未来，该方法有望推广到其他领域的多模态学习任务中，例如自动驾驶、机器人等。

📄 摘要（原文）

Medical multimodal learning faces significant challenges with missing modalities prevalent in clinical practice. Existing approaches assume equal contribution of modality and random missing patterns, neglecting inherent uncertainty in medical data acquisition. In this regard, we propose the Aleatoric Uncertainty Modeling (AUM) that explicitly quantifies unimodal aleatoric uncertainty to address missing modalities. Specifically, AUM models each unimodal representation as a multivariate Gaussian distribution to capture aleatoric uncertainty and enable principled modality reliability quantification. To adaptively aggregate captured information, we develop a dynamic message-passing mechanism within a bipartite patient-modality graph using uncertainty-aware aggregation mechanism. Through this process, missing modalities are naturally accommodated, while more reliable information from available modalities is dynamically emphasized to guide representation generation. Our AUM framework achieves an improvement of 2.26% AUC-ROC on MIMIC-IV mortality prediction and 2.17% gain on eICU, outperforming existing state-of-the-art approaches.