ADAPT: Multimodal Learning for Detecting Physiological Changes under Missing Modalities

📄 arXiv: 2407.03836v1 📥 PDF

作者: Julie Mordacq, Leo Milecki, Maria Vakalopoulou, Steve Oudot, Vicky Kalogeiton

分类: cs.CV, cs.LG

发布日期: 2024-07-04

备注: Accepted at MIDL 2024

💡 一句话要点

ADAPT：针对模态缺失的多模态学习框架，用于检测生理变化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 生理信号 模态缺失 Transformer 锚模态

📋 核心要点

  1. 医学领域多模态数据融合面临数据量少和模态缺失的挑战，现有方法难以平衡模态贡献。
  2. ADAPT框架将所有模态对齐到锚模态空间，并使用Masked Transformer处理模态缺失问题。
  3. 在压力检测和飞行员意识丧失检测两个任务上，ADAPT取得了新的state-of-the-art结果，并展现了鲁棒性。

📝 摘要（中文）

本文提出了一种名为AnchoreD多模态生理Transformer（ADAPT）的可扩展多模态框架，旨在解决医学领域中多模态数据融合时，数据量有限和模态缺失两大挑战。ADAPT包含两个关键组件：首先，将所有模态对齐到最强、最丰富的模态（称为锚模态）的空间中，以学习联合嵌入空间；其次，利用一个Masked多模态Transformer，同时利用模态间和模态内的相关性来处理缺失模态。本文在两个真实场景下验证了该方法：特定触发因素引起的个体压力检测，以及战斗机飞行员因g力引起的意识丧失检测。通过在两个数据集上进行的大量实验，ADAPT展现了其泛化能力，并在各种模态场景中表现出鲁棒性，为实际应用提供了潜力。

🔬 方法详解

问题定义：论文旨在解决多模态生理信号分析中，由于数据量有限和部分模态数据缺失而导致的性能下降问题。现有方法在处理模态缺失时，往往无法充分利用剩余模态的信息，或者难以学习到鲁棒的模态间关系。

核心思路：论文的核心思路是将所有模态的信息对齐到一个“锚模态”的空间中，该锚模态通常是信息最丰富、质量最高的模态。通过这种对齐，可以更好地利用不同模态之间的互补信息，即使在某些模态缺失的情况下，也能从锚模态中获取相关信息进行补偿。同时，使用Masked Transformer来建模模态间和模态内的关系，增强模型的鲁棒性。

技术框架：ADAPT框架主要包含两个阶段：模态对齐和多模态融合。在模态对齐阶段，首先选择一个锚模态，然后使用神经网络将其他模态的数据映射到锚模态的空间中。在多模态融合阶段，使用一个Masked Multimodal Transformer来学习联合嵌入表示，该Transformer可以处理缺失模态，并利用模态间和模态内的相关性进行预测。

关键创新：ADAPT的关键创新在于：1) 提出了一种基于锚模态的模态对齐方法，能够有效地利用不同模态之间的互补信息；2) 使用Masked Multimodal Transformer来处理缺失模态，并建模模态间和模态内的关系，提高了模型的鲁棒性。

关键设计：在模态对齐阶段，可以使用不同的神经网络结构进行模态映射，例如MLP或CNN。Masked Multimodal Transformer的设计类似于标准的Transformer，但增加了masking机制来处理缺失模态。损失函数通常包括分类损失和模态对齐损失，以确保模型能够准确地进行预测，并学习到有效的模态对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ADAPT在压力检测和飞行员意识丧失检测两个数据集上进行了验证，取得了state-of-the-art的结果。实验结果表明，ADAPT在各种模态缺失情况下均表现出良好的鲁棒性，并且在完整模态数据下也能获得显著的性能提升。具体性能数据在论文中给出，相较于现有方法有明显提升。

🎯 应用场景

该研究成果可应用于多种生理信号监测场景，例如压力检测、疲劳驾驶预警、医疗诊断辅助等。通过融合多种生理指标，可以更准确地评估个体的生理状态，并及时发现潜在的健康风险。该方法在远程医疗、智能健康管理等领域具有广阔的应用前景。

📄 摘要（原文）

Multimodality has recently gained attention in the medical domain, where imaging or video modalities may be integrated with biomedical signals or health records. Yet, two challenges remain: balancing the contributions of modalities, especially in cases with a limited amount of data available, and tackling missing modalities. To address both issues, in this paper, we introduce the AnchoreD multimodAl Physiological Transformer (ADAPT), a multimodal, scalable framework with two key components: (i) aligning all modalities in the space of the strongest, richest modality (called anchor) to learn a joint embedding space, and (ii) a Masked Multimodal Transformer, leveraging both inter- and intra-modality correlations while handling missing modalities. We focus on detecting physiological changes in two real-life scenarios: stress in individuals induced by specific triggers and fighter pilots' loss of consciousness induced by $g$-forces. We validate the generalizability of ADAPT through extensive experiments on two datasets for these tasks, where we set the new state of the art while demonstrating its robustness across various modality scenarios and its high potential for real-life applications.