Not Only Grey Matter: OmniBrain for Robust Multimodal Classification of Alzheimer's Disease

📄 arXiv: 2507.20872v1 📥 PDF

作者: Ahmed Sharshar, Yasser Ashraf, Tameem Bakr, Salma Hassan, Hosam Elgendy, Mohammad Yaqub, Mohsen Guizani

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-07-28

备注: Published in Third Workshop on Computer Vision for Automated Medical Diagnosis CVAMD 2025 in ICCV 2025

💡 一句话要点

OmniBrain：用于阿尔茨海默病多模态稳健分类的统一框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿尔茨海默病 多模态融合 交叉注意力 深度学习 医学影像 基因表达 临床数据

📋 核心要点

  1. 现有阿尔茨海默病诊断方法在准确性、泛化性、鲁棒性和可解释性方面存在不足，难以满足临床需求。
  2. OmniBrain通过统一模型整合脑部MRI、放射组学、基因表达和临床数据，利用交叉注意力和模态dropout提升性能。
  3. OmniBrain在多个数据集上表现优异，并能提供可解释的诊断结果，增强临床信任度。

📝 摘要（中文）

阿尔茨海默病影响全球超过5500万人，预计到2050年将增加一倍以上，因此需要快速、准确和可扩展的诊断方法。然而，现有方法存在局限性，无法同时实现临床可接受的准确性、跨数据集的泛化能力、对缺失模态的鲁棒性和可解释性。这种无法同时满足所有要求的情况削弱了它们在临床环境中的可靠性。我们提出了OmniBrain，这是一个多模态框架，它使用具有交叉注意力和模态dropout的统一模型，集成了脑部MRI、放射组学、基因表达和临床数据。OmniBrain在ANMerge数据集上实现了92.2±2.4%的准确率，并推广到仅MRI的ADNI数据集，准确率为70.4±2.7%，优于单模态和先前的多模态方法。可解释性分析突出了神经病理学相关的脑区和基因，增强了临床信任。OmniBrain为现实世界中的阿尔茨海默病诊断提供了一个稳健、可解释和实用的解决方案。

🔬 方法详解

问题定义：阿尔茨海默病诊断需要整合多种模态的数据，但现有方法难以在准确性、泛化性、对缺失模态的鲁棒性和可解释性之间取得平衡。现有方法在临床应用中可靠性不足，限制了其应用。

核心思路：OmniBrain的核心思路是构建一个统一的多模态模型，通过交叉注意力机制学习不同模态之间的关联，并利用模态dropout提高模型对缺失模态的鲁棒性。这种设计旨在提升模型在真实临床环境中的性能和可靠性。

技术框架：OmniBrain框架包含数据预处理、特征提取、多模态融合和分类预测四个主要阶段。首先，对MRI图像、放射组学数据、基因表达数据和临床数据进行预处理。然后，使用不同的特征提取器提取各个模态的特征。接着，利用交叉注意力机制融合多模态特征。最后，使用分类器预测阿尔茨海默病的诊断结果。

关键创新：OmniBrain的关键创新在于其统一的多模态融合框架和交叉注意力机制的应用。该框架能够有效地整合不同模态的数据，并学习它们之间的复杂关系。交叉注意力机制能够动态地调整不同模态的权重，从而提高模型的性能。此外，模态dropout策略增强了模型对缺失模态的鲁棒性。

关键设计：OmniBrain使用了Transformer架构作为其核心组件，利用自注意力机制捕捉模态内的依赖关系，并使用交叉注意力机制学习模态间的关联。模态dropout的概率设置为0.5，以平衡模型的性能和鲁棒性。损失函数采用交叉熵损失，优化器采用AdamW，学习率设置为1e-4。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmniBrain在ANMerge数据集上取得了92.2±2.4%的准确率，在仅MRI的ADNI数据集上取得了70.4±2.7%的准确率，显著优于单模态和先前的多模态方法。可解释性分析揭示了与阿尔茨海默病相关的关键脑区和基因，为临床医生提供了有价值的参考。

🎯 应用场景

OmniBrain可应用于阿尔茨海默病的早期诊断、病情评估和治疗方案制定。该研究成果有助于提高诊断的准确性和效率，为患者提供更个性化的医疗服务。未来，该方法可以扩展到其他神经退行性疾病的诊断和预测。

📄 摘要（原文）

Alzheimer's disease affects over 55 million people worldwide and is projected to more than double by 2050, necessitating rapid, accurate, and scalable diagnostics. However, existing approaches are limited because they cannot achieve clinically acceptable accuracy, generalization across datasets, robustness to missing modalities, and explainability all at the same time. This inability to satisfy all these requirements simultaneously undermines their reliability in clinical settings. We propose OmniBrain, a multimodal framework that integrates brain MRI, radiomics, gene expression, and clinical data using a unified model with cross-attention and modality dropout. OmniBrain achieves $92.2 \pm 2.4\%$accuracy on the ANMerge dataset and generalizes to the MRI-only ADNI dataset with $70.4 \pm 2.7\%$ accuracy, outperforming unimodal and prior multimodal approaches. Explainability analyses highlight neuropathologically relevant brain regions and genes, enhancing clinical trust. OmniBrain offers a robust, interpretable, and practical solution for real-world Alzheimer's diagnosis.