Analysis of Image-and-Text Uncertainty Propagation in Multimodal Large Language Models with Cardiac MR-Based Applications
作者: Yucheng Tang, Yunguan Fu, Weixi Yi, Yipei Wang, Daniel C. Alexander, Rhodri Davies, Yipeng Hu
分类: cs.CV
发布日期: 2025-07-17
备注: It is accepted by 28th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态不确定性传播模型，分析MLLM中图像-文本不确定性，应用于心脏MR分析
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 不确定性传播 大型语言模型 心脏MR 临床应用
📋 核心要点
- 现有MLLM对多模态输入的不确定性关系理解不足，限制了其在临床等高风险场景的应用。
- 提出多模态不确定性传播模型（MUPM），通过不确定性传播来量化图像、文本和联合模态的不确定性关系。
- 实验表明MUPM具有良好的泛化能力，可跨数据分布和下游任务迁移，并能有效识别冗余信息。
📝 摘要（中文）
多模态大型语言模型(MLLM)能够处理和整合来自多种模态的信息，例如文本和图像。然而，输入模态之间的相互关系、由于个体单模态数据引起的不确定性，以及在这种不确定性分解之后的潜在临床应用，在大型MLLM的背景下尚未完全理解。本文提出了一种基于不确定性传播的多模态不确定性传播模型(MUPM)，用于描述MLLM输入中仅图像、仅文本以及联合图像-文本变化引起的不确定性之间的关系。使用真实的心脏MR扫描和数字健康记录临床数据，我们描述了MUPM可以通过少量样本进行稳健优化。然后，我们表明拟合的MUPM可以推广到不同的输入数据分布，甚至令人惊讶地，可以推广到不同的下游任务。这种可迁移性可能可以通过共享的预训练、相对轻量级的MLLM微调以及MUPM的低维性质来解释。更重要的是，这种学习到的可迁移性，量化了这些不确定性之间的关系，从而实现了直接的临床应用，其中可以稳健地估计和分析不同数据甚至一组新的心脏疾病预测任务的不确定性。此外，我们通过实验展示了估计总体不确定性所需的多模态数据的效率及其识别冗余因素的能力，这两者都被认为是使用所提出的MUPM的实用且具有临床价值的应用。
🔬 方法详解
问题定义：论文旨在解决多模态大型语言模型（MLLM）在处理图像和文本等多模态输入时，对不同模态数据来源的不确定性之间关系理解不足的问题。现有方法难以有效量化和利用这些不确定性，限制了MLLM在临床等高风险领域的应用。具体来说，论文关注图像（如心脏MR图像）和文本（如电子病历）的不确定性，以及它们如何相互影响。
核心思路：论文的核心思路是利用不确定性传播的思想，构建一个多模态不确定性传播模型（MUPM）。该模型旨在学习和量化图像、文本以及联合图像-文本输入的不确定性之间的关系。通过学习这些关系，MUPM能够预测在不同数据分布和下游任务中的不确定性，从而提高MLLM的鲁棒性和可靠性。
技术框架：MUPM的技术框架主要包含以下几个阶段：1) 数据收集和预处理：收集心脏MR图像和相应的电子病历数据，并进行预处理。2) 特征提取：使用预训练的图像和文本编码器提取图像和文本特征。3) 不确定性估计：使用例如Dropout或者Deep Ensemble等方法估计图像和文本特征的不确定性。4) MUPM训练：使用少量样本训练MUPM，学习图像、文本和联合模态不确定性之间的关系。5) 不确定性预测和分析：使用训练好的MUPM预测新的数据样本的不确定性，并进行分析。
关键创新：论文的关键创新在于提出了MUPM，这是一个专门用于量化和分析多模态输入不确定性之间关系的框架。与现有方法相比，MUPM能够更有效地学习和利用不同模态数据的不确定性信息，从而提高MLLM的性能和可靠性。此外，论文还发现MUPM具有良好的泛化能力，可以跨数据分布和下游任务迁移。
关键设计：MUPM的具体实现细节未知，但可以推测其可能采用以下设计：1) 模型结构：MUPM可能是一个低维的神经网络，例如多层感知机（MLP），用于学习不确定性之间的映射关系。2) 损失函数：损失函数可能包含两部分：一部分用于衡量预测的不确定性与真实不确定性之间的差异，另一部分用于约束MUPM的复杂度，防止过拟合。3) 训练策略：采用少量样本进行训练，并可能使用正则化技术来提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MUPM可以使用少量样本进行稳健优化，并且具有良好的泛化能力，可以跨不同的输入数据分布和下游任务迁移。此外，MUPM能够有效识别冗余的模态信息，从而降低数据采集成本。具体性能数据未知。
🎯 应用场景
该研究成果可应用于医疗诊断、风险评估等领域。例如，在心脏疾病预测中，MUPM可以帮助医生评估诊断结果的不确定性，从而更准确地进行决策。此外，MUPM还可以用于识别冗余的模态信息，降低数据采集成本。未来，该方法有望推广到其他多模态医学影像分析任务中。
📄 摘要（原文）
Multimodal large language models (MLLMs) can process and integrate information from multimodality sources, such as text and images. However, interrelationship among input modalities, uncertainties due to individual uni-modal data and potential clinical applications following such an uncertainty decomposition are yet fully understood in the context of large-scale MLLMs. In this work, we propose a multimodal uncertainty propagation model (MUPM) based on uncertainty propagation, to characterise the relationship among the uncertainties arising from image-only, text-only, and joint image-text variations in MLLM inputs. Using real clinical data consisting of cardiac MR scans and digital health records, we describe that MUPMs can be optimised robustly with a few samples. We then show that the fitted MUPMs are generalisable across different input data distributions and, perhaps surprisingly, across different downstream tasks. Such a transferability may be explained by the shared pretraining, comparatively light MLLM fine-tuning, along with the low-dimensional nature of the MUPMs. More importantly, this learned transferability, quantifying the relationship between these uncertainties, led to direct clinical applications in which uncertainties may be estimated and thus analysed robustly for varying data or even a novel set of cardiac disease prediction tasks. In addition, we show experimentally the efficiency in multimodal data required for estimating the overall uncertainty and its ability to identify redundant factors, both of which are considered practical yet clinically useful applications with the proposed MUPMs. Codes are available at https://github.com/yucheng722/MUPM.