ProbMed: A Probabilistic Framework for Medical Multimodal Binding

📄 arXiv: 2509.25711v1 📥 PDF

作者: Yuan Gao, Sangwook Kim, Jianzhong You, Chris McIntosh

分类: cs.CV

发布日期: 2025-09-30

备注: ICCV 2025

💡 一句话要点

ProbMED：提出概率多模态融合框架，提升医学影像与文本的联合诊断能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 医学影像 自然语言处理 概率模型 对比学习

📋 核心要点

  1. 现有医学视觉-语言预训练模型难以处理医学数据多模态间多对多的复杂关系。
  2. ProbMED通过概率对比学习建模模态嵌入的分布，而非确定性估计，从而更好地对齐不同模态。
  3. 实验表明，ProbMED在跨模态检索、零样本和少样本分类等任务上显著优于现有模型。

📝 摘要（中文）

医学决策需要整合来自影像到临床叙述等多种医学信息。这些医学模态通常以多对多的方式获取。然而，现有的医学视觉-语言预训练模型(Med-VLPMs)未能直接在其模型训练和嵌入中考虑这种多对多映射。为了解决这个问题，我们提出了概率模态增强诊断(ProbMED)，这是一种多模态Med-VLPM，它采用概率对比学习来对嵌入上的分布进行建模，而不是确定性估计。ProbMED将四种不同的模态——胸部X光片、心电图、超声心动图和临床文本——对齐到一个统一的概率嵌入空间中。我们使用带有Hellinger距离的InfoNCE损失来整合模态间分布。我们引入了一种概率合成采样损失，它捕获模态特定的均值和方差，以改善模态内绑定。在13个医学数据集上的大量实验表明，我们的模型在跨模态检索、零样本和少样本分类方面优于当前的Med-VLPM。我们还展示了多种模态的稳健集成用于预后，显示出改进的模态内和模态间医学模态绑定。

🔬 方法详解

问题定义：现有的医学视觉-语言预训练模型(Med-VLPMs)在处理多模态医学数据时，无法有效建模模态间多对多的复杂关系。例如，一张胸部X光片可能对应多个临床文本描述，反之亦然。这种确定性的嵌入方式忽略了模态数据内在的不确定性和多样性，限制了模型的表达能力和泛化性能。

核心思路：ProbMED的核心思路是将模态嵌入从确定性的向量表示扩展到概率分布表示。通过对每个模态学习一个均值和方差，模型可以捕获模态数据的不确定性和多样性。在训练过程中，模型学习对齐这些概率分布，而不是简单的向量对齐，从而更好地建模模态间的复杂关系。

技术框架：ProbMED的整体框架包括以下几个主要模块：1) 多模态编码器：使用不同的编码器（例如，ResNet用于图像，BERT用于文本）将不同模态的数据编码成嵌入向量。2) 概率嵌入层：将每个模态的嵌入向量转换为概率分布，通常使用高斯分布建模。3) 概率对比学习：使用InfoNCE损失和Hellinger距离来对齐不同模态的概率分布。4) 概率合成采样损失：通过合成新的模态数据，增强模型对模态内差异的鲁棒性。

关键创新：ProbMED的关键创新在于使用概率嵌入来建模多模态医学数据。与传统的确定性嵌入方法相比，概率嵌入可以更好地捕获模态数据的不确定性和多样性，从而提高模型的表达能力和泛化性能。此外，ProbMED还引入了一种新的概率合成采样损失，进一步增强了模型对模态内差异的鲁棒性。

关键设计：ProbMED的关键设计包括：1) 使用高斯分布建模模态嵌入的概率分布。2) 使用Hellinger距离作为InfoNCE损失的距离度量，因为它对概率分布的差异更敏感。3) 设计概率合成采样损失，通过对模态特定的均值和方差进行采样，生成新的模态数据。4) 使用四种不同的医学模态（胸部X光片、心电图、超声心动图和临床文本）进行训练，以提高模型的泛化能力。

📊 实验亮点

ProbMED在13个医学数据集上进行了广泛的实验，结果表明其在跨模态检索、零样本和少样本分类等任务上显著优于现有的Med-VLPMs。例如，在跨模态检索任务中，ProbMED的Recall@1指标平均提升了5%以上。此外，ProbMED还展示了在预后任务中整合多种模态的优势，进一步验证了其在医学多模态融合方面的有效性。

🎯 应用场景

ProbMED在医学诊断、预后和跨模态信息检索等领域具有广泛的应用前景。例如，医生可以利用ProbMED整合来自不同模态的医学信息，从而做出更准确的诊断和治疗决策。此外，ProbMED还可以用于构建智能医学信息检索系统，帮助医生快速找到相关的医学文献和病例。

📄 摘要（原文）

Medical decision-making requires integrating diverse medical information, from imaging to clinical narratives. These medical modalities are often acquired in a many-to-many manner. However, current medical vision-language pretraining models (Med-VLPMs) fail to directly account for this many-to-many mapping in their model training and embeddings. To address this, we present Probabilistic Modality-Enhanced Diagnosis (ProbMED), a multimodal Med-VLPM that employs probabilistic contrastive learning to model distributions over embeddings rather than deterministic estimates. ProbMED aligns four distinct modalities -- chest X-rays, electrocardiograms, echocardiograms, and clinical text -- into a unified probabilistic embedding space. We use InfoNCE loss with Hellinger distance to integrate inter-modality distributions. We introduce a probabilistic synthetic sampling loss that captures modality-specific mean and variance to improve intra-modality binding. Extensive experiments across 13 medical datasets demonstrate that our model outperforms current Med-VLPMs in cross-modality retrieval, zero-shot, and few-shot classification. We also demonstrate the robust integration of multiple modalities for prognostication, showing improved intra- and inter-medical modality binding.