R-GenIMA: Integrating Neuroimaging and Genetics with Interpretable Multimodal AI for Alzheimer's Disease Progression
作者: Kun Zhao, Siyuan Dai, Yingying Zhang, Guodong Liu, Pengfei Gu, Chenghua Lin, Paul M. Thompson, Alex Leow, Heng Huang, Lifang He, Liang Zhan, Haoteng Tang
分类: cs.LG, cs.AI
发布日期: 2025-12-22
💡 一句话要点
R-GenIMA：结合神经影像与遗传信息的Alzheimer病进展可解释多模态AI模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Alzheimer病 多模态融合 神经影像 遗传信息 可解释AI Transformer ADNI
📋 核心要点
- 现有方法难以对齐异构的神经影像和遗传信号，限制了Alzheimer病早期检测模型的性能。
- R-GenIMA通过ROI-wise视觉Transformer和遗传提示，将脑区萎缩与遗传因素关联，实现跨模态信息融合。
- R-GenIMA在ADNI数据集上实现了四分类任务的SOTA性能，并揭示了疾病各阶段的关键脑区和基因特征。
📝 摘要（中文）
本研究提出R-GenIMA，一种可解释的多模态大语言模型，旨在整合宏观神经解剖学改变与微观遗传易感性，用于Alzheimer病（AD）的早期检测。该模型将基于区域（ROI）的视觉Transformer与遗传提示相结合，联合建模结构磁共振成像（MRI）和单核苷酸多态性（SNP）变异。通过将每个解剖学分割的脑区表示为视觉token，并将SNP谱编码为结构化文本，该框架实现了跨模态注意力，将区域萎缩模式与潜在的遗传因素联系起来。在ADNI队列上的应用表明，R-GenIMA在正常认知（NC）、主观记忆问题（SMC）、轻度认知障碍（MCI）和AD的四分类任务中取得了最先进的性能。该模型通过识别特定阶段的脑区和基因特征，以及贯穿疾病连续体的连贯ROI-基因关联模式，产生了具有生物学意义的解释。基于注意力的归因揭示了与已建立的GWAS支持的AD风险基因座（包括APOE、BIN1、CLU和RBFOX1）一致富集的基因。阶段解析的神经解剖学特征识别了跨疾病阶段的共享脆弱性中心，以及阶段特异性模式：主观下降中的纹状体参与，前驱期损害中的额颞叶参与，以及AD中整合的多模态网络破坏。这些结果表明，可解释的多模态AI可以综合影像和遗传学信息，揭示机制性见解，为临床可部署的工具奠定基础，从而实现更早的风险分层，并为Alzheimer病中的精准治疗策略提供信息。
🔬 方法详解
问题定义：Alzheimer病（AD）的早期检测需要整合宏观尺度的神经解剖学变化和微观尺度的遗传易感性。然而，现有的多模态方法难以有效地对齐和融合这些异构信号，导致早期诊断的准确性和可解释性不足。
核心思路：R-GenIMA的核心思路是将神经影像数据（结构MRI）和遗传数据（SNP）整合到一个统一的框架中，利用Transformer模型的强大表征能力和注意力机制，学习跨模态的关联。通过将脑区作为视觉token，SNP作为文本提示，模型可以捕捉区域萎缩模式与潜在遗传因素之间的复杂关系。
技术框架：R-GenIMA框架包含以下主要模块：1) 结构MRI预处理和脑区划分；2) ROI-wise视觉Transformer，将每个脑区表示为一个视觉token，并提取视觉特征；3) 遗传提示编码器，将SNP数据编码为结构化文本提示；4) 跨模态注意力机制，融合视觉特征和文本提示，学习跨模态的联合表征；5) 分类器，基于联合表征进行AD分期预测。
关键创新：R-GenIMA的关键创新在于其可解释的多模态融合方法。通过ROI-wise视觉Transformer和遗传提示，模型能够建立脑区萎缩与遗传因素之间的直接联系，从而提供更具生物学意义的解释。此外，该模型利用注意力机制来识别关键的脑区和基因，进一步增强了模型的可解释性。
关键设计：模型使用预训练的视觉Transformer作为骨干网络，并针对脑区数据进行了微调。遗传提示编码器使用BERT模型进行预训练，并根据SNP数据的特点进行了定制。损失函数包括分类损失和正则化项，以提高模型的泛化能力和可解释性。注意力机制采用多头注意力，以捕捉不同模态之间的复杂关系。
🖼️ 关键图片
📊 实验亮点
R-GenIMA在ADNI数据集上实现了四分类任务（NC, SMC, MCI, AD）的最先进性能。模型通过注意力机制识别了与AD风险相关的关键基因（如APOE, BIN1, CLU, RBFOX1）和脑区，并揭示了疾病不同阶段的神经解剖学特征，例如主观记忆问题阶段的纹状体参与，以及前驱期损害阶段的额颞叶参与。
🎯 应用场景
R-GenIMA的研究成果可应用于Alzheimer病早期风险评估、精准诊断和个性化治疗方案制定。通过整合神经影像和遗传信息，该模型可以更准确地识别高风险人群，并为临床医生提供更全面的疾病信息，从而指导治疗决策，延缓疾病进展，提高患者的生活质量。未来，该模型还可以扩展到其他神经退行性疾病的研究中。
📄 摘要（原文）
Early detection of Alzheimer's disease (AD) requires models capable of integrating macro-scale neuroanatomical alterations with micro-scale genetic susceptibility, yet existing multimodal approaches struggle to align these heterogeneous signals. We introduce R-GenIMA, an interpretable multimodal large language model that couples a novel ROI-wise vision transformer with genetic prompting to jointly model structural MRI and single nucleotide polymorphisms (SNPs) variations. By representing each anatomically parcellated brain region as a visual token and encoding SNP profiles as structured text, the framework enables cross-modal attention that links regional atrophy patterns to underlying genetic factors. Applied to the ADNI cohort, R-GenIMA achieves state-of-the-art performance in four-way classification across normal cognition (NC), subjective memory concerns (SMC), mild cognitive impairment (MCI), and AD. Beyond predictive accuracy, the model yields biologically meaningful explanations by identifying stage-specific brain regions and gene signatures, as well as coherent ROI-Gene association patterns across the disease continuum. Attention-based attribution revealed genes consistently enriched for established GWAS-supported AD risk loci, including APOE, BIN1, CLU, and RBFOX1. Stage-resolved neuroanatomical signatures identified shared vulnerability hubs across disease stages alongside stage-specific patterns: striatal involvement in subjective decline, frontotemporal engagement during prodromal impairment, and consolidated multimodal network disruption in AD. These results demonstrate that interpretable multimodal AI can synthesize imaging and genetics to reveal mechanistic insights, providing a foundation for clinically deployable tools that enable earlier risk stratification and inform precision therapeutic strategies in Alzheimer's disease.