HiMAL: A Multimodal Hierarchical Multi-task Auxiliary Learning framework for predicting and explaining Alzheimer disease progression

📄 arXiv: 2404.03208v2 📥 PDF

作者: Sayantan Kumar, Sean Yu, Andrew Michelson, Thomas Kannampallil, Philip Payne

分类: cs.LG

发布日期: 2024-04-04 (更新: 2024-05-06)

备注: Currently under review in Journal of Medical Informatics Association (JAMIA). 6 figures, 3 tables

期刊: JAMIA Open, Volume 7, Issue 3, October 2024, ooae087

DOI: 10.1093/jamiaopen/ooae087

💡 一句话要点

提出HiMAL框架以预测和解释阿尔茨海默病进展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿尔茨海默病 多模态学习 预测模型 认知功能 临床应用 机器学习 辅助学习

📋 核心要点

  1. 现有方法在预测轻度认知障碍患者向阿尔茨海默病转变的准确性和解释性方面存在不足。
  2. HiMAL框架通过整合多模态数据，采用层次化多任务学习策略，提升了对认知功能的预测能力。
  3. 实验结果显示，HiMAL在AUROC和AUPRC指标上均优于传统单任务模型，具有显著的临床应用潜力。

📝 摘要（中文）

本研究旨在开发和验证一种新颖的多模态框架HiMAL（层次化多任务辅助学习），用于预测认知综合功能，并作为辅助任务评估轻度认知障碍（MCI）患者向阿尔茨海默病（AD）转变的长期风险。HiMAL利用阿尔茨海默病神经影像倡议（ADNI）数据集中MCI患者的多模态纵向访视数据，包括影像特征、认知评估分数和临床变量，预测患者在未来6个月内是否会进展为AD。结果表明，HiMAL在预测性能上优于所有单模态单任务基线，且提供了关于疾病进展风险的纵向解释，帮助临床医生进行未来的疾病评估。

🔬 方法详解

问题定义：本研究旨在解决如何准确预测轻度认知障碍（MCI）患者向阿尔茨海默病（AD）转变的问题。现有方法往往依赖单一模态数据，导致预测效果不佳，缺乏对疾病进展的有效解释。

核心思路：HiMAL框架通过结合影像特征、认知评估分数和临床变量，采用层次化多任务辅助学习的方法，旨在提高对认知功能的预测精度，并提供疾病进展的解释。

技术框架：HiMAL的整体架构包括数据预处理、特征提取、模型训练和预测解释四个主要模块。首先，收集多模态数据并进行标准化处理；其次，利用深度学习模型提取特征；然后，通过多任务学习策略进行训练；最后，生成对疾病进展的解释。

关键创新：HiMAL的主要创新在于其层次化多任务学习机制，能够同时处理多个辅助任务，从而提升主任务的预测性能。这一设计使得模型能够更全面地利用不同模态的信息。

关键设计：在模型设计中，采用了交叉熵损失函数来优化分类任务，并通过注意力机制增强对重要特征的关注。此外，模型的超参数设置经过了系统的调优，以确保最佳的预测效果。

📊 实验亮点

实验结果显示，在634名MCI患者中，HiMAL的AUROC达到0.923，AUPRC为0.623，均显著优于所有单模态单任务基线（p<0.05）。此外，消融分析表明影像和认知评分对疾病进展预测贡献最大，进一步验证了模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括临床医学、老年病学和公共卫生等。HiMAL框架能够为临床医生提供实时的疾病进展预测，帮助他们在早期阶段识别高风险患者，从而制定个性化的干预措施，提升患者的生活质量和管理效果。

📄 摘要（原文）

Objective: We aimed to develop and validate a novel multimodal framework HiMAL (Hierarchical, Multi-task Auxiliary Learning) framework, for predicting cognitive composite functions as auxiliary tasks that estimate the longitudinal risk of transition from Mild Cognitive Impairment (MCI) to Alzheimer Disease (AD). Methods: HiMAL utilized multimodal longitudinal visit data including imaging features, cognitive assessment scores, and clinical variables from MCI patients in the Alzheimer Disease Neuroimaging Initiative (ADNI) dataset, to predict at each visit if an MCI patient will progress to AD within the next 6 months. Performance of HiMAL was compared with state-of-the-art single-task and multi-task baselines using area under the receiver operator curve (AUROC) and precision recall curve (AUPRC) metrics. An ablation study was performed to assess the impact of each input modality on model performance. Additionally, longitudinal explanations regarding risk of disease progression were provided to interpret the predicted cognitive decline. Results: Out of 634 MCI patients (mean [IQR] age : 72.8 [67-78], 60% men), 209 (32%) progressed to AD. HiMAL showed better prediction performance compared to all single-modality singe-task baselines (AUROC = 0.923 [0.915-0.937]; AUPRC= 0.623 [0.605-0.644]; all p<0.05). Ablation analysis highlighted that imaging and cognition scores with maximum contribution towards prediction of disease progression. Discussion: Clinically informative model explanations anticipate cognitive decline 6 months in advance, aiding clinicians in future disease progression assessment. HiMAL relies on routinely collected EHR variables for proximal (6 months) prediction of AD onset, indicating its translational potential for point-of-care monitoring and managing of high-risk patients.