Multimodal Learning for Scalable Representation of High-Dimensional Medical Data

📄 arXiv: 2409.13115v2 📥 PDF

作者: Areej Alsaafin, Abubakr Shafique, Saghir Alfasly, Krishna R. Kalari, H. R. Tizhoosh

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-09-19 (更新: 2025-12-12)

💡 一句话要点

提出MarbliX框架，用于高维医学多模态数据可扩展表征学习，提升病例检索和临床洞察。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 医学图像分析 基因组学 自监督学习 二元编码 病例检索 深度学习

📋 核心要点

  1. 现有诊断模型通常基于单模态数据，忽略了多模态数据间的交互信息，限制了临床洞察的深度。
  2. MarbliX通过自监督学习，将WSI和免疫基因组谱嵌入到二元编码中，在统一潜在空间捕获患者相似性。
  3. 实验表明，MarbliX在肺癌和肾癌的病例检索任务中，显著优于单模态方法，提升了诊断性能。

📝 摘要（中文）

本文提出MarbliX（Multimodal Association and Retrieval with Binary Latent Indexed matriX），一个自监督框架，旨在将数字病理全切片图像（WSI）和免疫基因组谱嵌入到紧凑、可扩展的二元编码中，称为“monogram”。通过优化跨模态的三元组对比目标，MarbliX在统一的潜在空间中捕获高分辨率的患者相似性，从而能够高效检索临床相关病例并促进基于案例的推理。在肺癌中，MarbliX在所有评估指标上均达到85-89％的性能，优于组织病理学（69-71％）和免疫基因组学（73-76％）。在肾癌中，实值monogram表现最佳（F1：80-83％，准确率：87-90％），而二元monogram略低（F1：78-82％）。

🔬 方法详解

问题定义：现有医学诊断模型主要依赖单模态数据，例如病理图像或基因组数据，无法充分利用多模态数据之间的互补信息。这限制了模型对疾病的全面理解和诊断的准确性。此外，高维医学数据的可扩展性也是一个挑战，需要有效的表征方法来降低计算复杂度。

核心思路：MarbliX的核心思路是通过自监督学习，将不同模态的医学数据（WSI和免疫基因组谱）映射到统一的潜在空间，并学习紧凑的二元编码（monogram）。通过优化跨模态的三元组对比损失，使得相似患者在潜在空间中的距离更近，从而实现高效的病例检索和相似性比较。

技术框架：MarbliX框架包含以下主要模块：1) 特征提取模块：使用预训练的深度学习模型（例如，用于WSI的卷积神经网络，用于基因组数据的序列模型）提取各模态的特征。2) 嵌入模块：将提取的特征映射到低维潜在空间。3) 二元编码模块：将潜在空间中的向量转换为二元编码（monogram）。4) 三元组对比学习模块：构建包含锚点、正样本和负样本的三元组，并优化对比损失，使得锚点和正样本的距离更近，与负样本的距离更远。

关键创新：MarbliX的关键创新在于：1) 多模态融合：能够有效地融合WSI和免疫基因组谱等多模态数据。2) 二元编码：使用二元编码来表示患者，提高了检索效率和可扩展性。3) 自监督学习：无需人工标注，即可学习到有效的表征。4) 跨模态对比学习：通过优化跨模态的三元组对比损失，更好地捕捉不同模态之间的关联性。

关键设计：MarbliX的关键设计包括：1) 三元组选择策略：选择具有挑战性的三元组，以提高学习效率。2) 对比损失函数：使用合适的对比损失函数（例如，hinge loss或softplus loss）来优化模型。3) 二元编码方法：可以使用不同的二元编码方法，例如，sign function或tanh function。4) 嵌入维度：选择合适的嵌入维度，以平衡表征能力和计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MarbliX在肺癌病例检索任务中，所有评估指标上均达到85-89％的性能，显著优于单模态的组织病理学（69-71％）和免疫基因组学（73-76％）。在肾癌病例检索任务中，实值monogram取得了最佳性能（F1：80-83％，准确率：87-90％），二元monogram的性能略有下降（F1：78-82％），但仍然具有很高的实用价值。

🎯 应用场景

MarbliX可应用于多种医学场景，例如：辅助诊断、病例检索、精准医疗等。通过整合多模态数据，MarbliX能够提供更全面、准确的患者信息，帮助医生做出更明智的决策。此外，MarbliX的可扩展性使其能够处理大规模医学数据，为未来的医学研究提供有力支持。该研究有望推动精准医疗的发展，改善患者的治疗效果。

📄 摘要（原文）

Integrating artificial intelligence (AI) with healthcare data is rapidly transforming medical diagnostics and driving progress toward precision medicine. However, effectively leveraging multimodal data, particularly digital pathology whole slide images (WSIs) and genomic sequencing, remains a significant challenge due to the intrinsic heterogeneity of these modalities and the need for scalable and interpretable frameworks. Existing diagnostic models typically operate on unimodal data, overlooking critical cross-modal interactions that can yield richer clinical insights. We introduce MarbliX (Multimodal Association and Retrieval with Binary Latent Indexed matriX), a self-supervised framework that learns to embed WSIs and immunogenomic profiles into compact, scalable binary codes, termed ``monogram.'' By optimizing a triplet contrastive objective across modalities, MarbliX captures high-resolution patient similarity in a unified latent space, enabling efficient retrieval of clinically relevant cases and facilitating case-based reasoning. \textcolor{black}{In lung cancer, MarbliX achieves 85-89\% across all evaluation metrics, outperforming histopathology (69-71\%) and immunogenomics (73-76\%). In kidney cancer, real-valued monograms yield the strongest performance (F1: 80-83\%, Accuracy: 87-90\%), with binary monograms slightly lower (F1: 78-82\%).