HoloDx: Knowledge- and Data-Driven Multimodal Diagnosis of Alzheimer's Disease

📄 arXiv: 2504.19075v2 📥 PDF

作者: Qiuhui Chen, Jintao Wang, Gang Wang, Yi Hong

分类: cs.CV

发布日期: 2025-04-27 (更新: 2025-09-16)

备注: Accepted by IEEE Transactions on Medical Imaging (TMI)

💡 一句话要点

HoloDx：融合知识与数据的多模态阿尔茨海默病诊断框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 阿尔茨海默病诊断 多模态融合 知识注入 记忆网络 临床决策支持

📋 核心要点

  1. 现有阿尔茨海默病诊断方法难以充分利用多模态信息，且缺乏结构化机制来整合动态领域知识。
  2. HoloDx通过知识注入模块和记忆注入模块，将领域知识与个体信息融入多模态数据，提升诊断性能。
  3. 在五个数据集上的实验表明，HoloDx超越了现有技术，实现了更高的诊断准确性和泛化能力。

📝 摘要（中文）

本文提出HoloDx，一个知识与数据驱动的框架，旨在通过对齐领域知识和多模态临床数据来提升阿尔茨海默病(AD)的诊断精度。HoloDx包含一个知识注入模块，该模块利用知识感知的门控交叉注意力机制，动态地整合来自大型语言模型(LLM)和临床经验的领域特定见解。此外，一个带有原型记忆注意力的记忆注入模块使模型能够保留和检索个体特定的信息，确保决策的一致性。通过联合利用这些机制，HoloDx增强了解释性，提高了鲁棒性，并有效地将先验知识与当前受试者数据对齐。在五个AD数据集上的评估表明，HoloDx优于最先进的方法，在不同的队列中实现了卓越的诊断准确性和强大的泛化能力。源代码将在论文接收后发布。

🔬 方法详解

问题定义：阿尔茨海默病的准确诊断需要有效整合多模态数据和临床专业知识。然而，现有方法通常难以充分利用多模态信息，并且缺乏结构化的机制来整合动态的领域知识。这导致诊断结果可能不够准确，且缺乏可解释性。

核心思路：HoloDx的核心思路是将领域知识和个体特定信息注入到多模态数据处理流程中，从而提高诊断的准确性和鲁棒性。通过知识注入模块，模型可以动态地整合来自大型语言模型和临床经验的领域特定见解。通过记忆注入模块，模型可以保留和检索个体特定的信息，确保决策的一致性。

技术框架：HoloDx框架包含两个主要模块：知识注入模块和记忆注入模块。知识注入模块利用知识感知的门控交叉注意力机制，将来自大型语言模型和临床经验的领域知识融入到多模态数据中。记忆注入模块使用原型记忆注意力机制，保留和检索个体特定的信息。这两个模块共同作用，增强了解释性，提高了鲁棒性，并有效地将先验知识与当前受试者数据对齐。

关键创新：HoloDx的关键创新在于其知识注入模块和记忆注入模块的设计。知识注入模块通过知识感知的门控交叉注意力机制，实现了领域知识的动态整合。记忆注入模块通过原型记忆注意力机制，实现了个体特定信息的保留和检索。这种知识与数据的结合是HoloDx优于现有方法的关键。

关键设计：知识注入模块中的门控交叉注意力机制允许模型根据输入数据的相关性动态地调整领域知识的权重。记忆注入模块中的原型记忆注意力机制使用一组原型向量来表示不同个体的特征，并通过注意力机制来检索与当前个体最相关的原型向量。具体的参数设置、损失函数和网络结构等技术细节将在论文发表后公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HoloDx在五个阿尔茨海默病数据集上进行了评估，结果表明其性能优于现有最先进的方法。具体而言，HoloDx在诊断准确性方面取得了显著提升，并且在不同的队列中表现出强大的泛化能力。这些实验结果验证了HoloDx框架的有效性和优越性。

🎯 应用场景

HoloDx可应用于阿尔茨海默病的早期诊断和风险评估，辅助临床医生进行更准确的诊断决策。该框架也可扩展到其他神经退行性疾病的诊断，具有广阔的应用前景。未来，HoloDx有望成为临床决策支持系统的重要组成部分，提升医疗服务的质量和效率。

📄 摘要（原文）

Accurate diagnosis of Alzheimer's disease (AD) requires effectively integrating multimodal data and clinical expertise. However, existing methods often struggle to fully utilize multimodal information and lack structured mechanisms to incorporate dynamic domain knowledge. To address these limitations, we propose HoloDx, a knowledge- and data-driven framework that enhances AD diagnosis by aligning domain knowledge with multimodal clinical data. HoloDx incorporates a knowledge injection module with a knowledge-aware gated cross-attention, allowing the model to dynamically integrate domain-specific insights from both large language models (LLMs) and clinical expertise. Also, a memory injection module with a designed prototypical memory attention enables the model to retain and retrieve subject-specific information, ensuring consistency in decision-making. By jointly leveraging these mechanisms, HoloDx enhances interpretability, improves robustness, and effectively aligns prior knowledge with current subject data. Evaluations on five AD datasets demonstrate that HoloDx outperforms state-of-the-art methods, achieving superior diagnostic accuracy and strong generalization across diverse cohorts. The source code will be released upon publication acceptance.