MMAP: Multimodal Missing-Aware Pretraining for Longitudinal Alzheimer's Prediction

📄 arXiv: 2609.26617v1 📥 PDF

作者: Fiona Kekwick, Matthew Baugh, Bernhard Kainz, Paul M. Matthews, Wenjia Bai

分类: cs.CV, cs.LG

发布日期: 2026-09-22

备注: To be published in the proceedings of the 2026 MICCAI Workshop on Multimodal Learning with Medical Tabular Data

💡 一句话要点

提出MMAP以解决多模态医疗数据缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 缺失数据处理 阿尔茨海默病 临床预测 对比学习 生成重建 医疗数据

📋 核心要点

  1. 现有的预测AI模型在处理医疗数据时受到缺失模态和不完整表格数据的限制，影响了疾病进展的准确预测。
  2. 本文提出的MMAP方法通过结合sigmoid对比学习和生成重建，能够有效地从不完整的多模态数据中学习有用的表示。
  3. 实验结果显示，MMAP在阿尔茨海默病的疾病阶段转换和淀粉样状态预测任务中，优于多模态和单模态的基线模型。

📝 摘要（中文）

临床决策依赖于预测疾病进展轨迹，而这一过程需要理解患者的健康状态，这通常由多模态医疗数据表征。然而，医疗数据集中常常存在缺失模态和不完整的表格数据，这限制了预测AI模型的发展。本文提出了一种新颖的多模态缺失感知对齐预训练方法MMAP，旨在从不完整数据中学习图像-表格表示。该方法通过高效的sigmoid对比学习和生成重建对图像编码器进行预训练，并基于表格基础模型构建表格编码器。缺失标记生成器使得两个编码器能够处理不完整数据，从而增强模型对缺失模态的鲁棒性。我们在阿尔茨海默病的两个具有挑战性的纵向临床任务中评估了所学多模态表示的临床实用性，结果表明该方法优于强大的多模态和单模态基线。

🔬 方法详解

问题定义：本文旨在解决在医疗数据中常见的缺失模态和不完整表格数据对疾病进展预测的影响。现有方法在处理高维多模态数据时，缺乏有效的策略来应对这些缺失情况。

核心思路：MMAP方法通过引入缺失标记生成器，使得图像编码器和表格编码器能够同时处理不完整数据，从而增强模型的鲁棒性。通过sigmoid对比学习和生成重建的结合，提升了对多模态数据的表示学习能力。

技术框架：该方法主要包括两个编码器：图像编码器和表格编码器。图像编码器通过预训练学习图像特征，而表格编码器则基于表格基础模型进行构建。缺失标记生成器负责处理输入数据中的缺失部分。

关键创新：MMAP的核心创新在于其缺失感知机制，能够有效处理缺失模态问题，与传统方法相比，显著提升了模型的适应性和准确性。

关键设计：在设计中，采用了sigmoid对比损失函数来优化图像编码器，同时表格编码器的结构基于现有的表格基础模型，确保了对表格数据的有效处理。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，MMAP在阿尔茨海默病的疾病阶段转换和淀粉样状态预测任务中，均优于现有的多模态和单模态基线，具体提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究在阿尔茨海默病的临床预测中具有重要应用潜力，能够帮助医生更准确地评估患者的疾病进展和状态。未来，该方法也可扩展到其他疾病的预测和监测中，提升医疗决策的科学性和有效性。

📄 摘要（原文）

Clinical decision making heavily relies on predicting the disease progression trajectory by seeking to understand patient's health status which is characterised by multimodal medical data. AI holds great potential for learning useful representations from multimodal medical data to predict disease progression and aid clinical decision making. However, development of predictive AI models is constrained by missing modalities and incomplete tabular data frequently occurring in medical datasets. In addition, disease labels alone may only provide limited supervisory signals for learning representations from high-dimensional multimodal data. Here, we present MMAP, a novel Multimodal Missing-aware Alignment Pretraining method for learning image-tabular representations from incomplete data. An image encoder is pretrained with efficient sigmoid contrastive learning combined with generative reconstruction. A tabular encoder is built upon a tabular foundation model. A missing token generator enables the two encoders to take incomplete data as input, enabling the model to be robust against missing modalities, either with missing images or missing tabular data. We evaluate the clinical usefulness of the learnt multimodal representations on two challenging longitudinal clinical tasks for Alzheimer's disease: predicting disease stage conversion and predicting amyloid status. The proposed method outperforms strong multimodal and unimodal baselines.