A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment

📄 arXiv: 2603.21597v1 📥 PDF

作者: Sheng Liu, Long Chen, Zeyun Zhao, Qinglin Gou, Qingyue Wei, Arjun Masurkar, Kevin M. Spiegler, Philip Kuball, Stefania C. Bray, Megan Bernath, Deanna R. Willis, Jiang Bian, Lei Xing, Eric Topol, Kyunghyun Cho, Yu Huang, Ruogu Fang, Narges Razavian, James Zou

分类: cs.AI, cs.CV

发布日期: 2026-03-23

💡 一句话要点

Cerebra：多模态AI协作系统，用于痴呆症特征分析与风险评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 临床决策支持 人工智能 痴呆症 风险评估 多智能体系统 医学影像分析

📋 核心要点

  1. 现有临床AI模型缺乏对异构、动态患者数据的有效推理能力，且与实际临床工作流程结合不足。
  2. Cerebra通过多智能体协作，整合EHR、临床笔记和医学影像分析，提供可交互的临床决策支持。
  3. Cerebra在多机构数据集上显著优于单模态模型和大型多模态语言模型，并提升了医生在痴呆症风险评估中的准确率。

📝 摘要（中文）

现代临床实践越来越依赖于对异构、演变和不完整的患者数据进行推理。尽管多模态基础模型在各种临床任务上的性能有所提高，但现有模型大多是静态的、不透明的，并且与实际临床工作流程的对齐性较差。本文提出了Cerebra，一个交互式的多智能体AI团队，它协调专门的智能体来分析EHR、临床笔记和医学影像。这些输出被综合到一个面向临床医生的仪表板中，该仪表板将可视化分析与对话界面相结合，使临床医生能够在护理点询问预测并确定风险的上下文。Cerebra通过对结构化表示进行操作来支持保护隐私的部署，并且在模态不完整时保持稳健性。在跨越来自四个独立医疗保健系统的300万患者的大规模多机构数据集上评估了Cerebra。Cerebra始终优于最先进的单模态模型和大型多模态语言模型基线。在痴呆症风险预测中，它实现了高达0.80的AUROC，而最强的单模态模型为0.74，语言模型基线为0.68。对于痴呆症诊断，它实现了0.86的AUROC，对于生存预测，实现了0.81的C-index。在一项由经验丰富的医生参与的读者研究中，Cerebra显著提高了专家表现，在预测性痴呆症风险评估中，准确率提高了17.5个百分点。这些结果证明了Cerebra在临床护理中具有可解释、稳健的决策支持潜力。

🔬 方法详解

问题定义：论文旨在解决临床决策支持系统中，如何有效整合和利用患者的异构多模态数据（如电子病历、临床笔记、医学影像）的问题。现有方法，特别是单模态模型和大型多模态语言模型，在处理这些数据时存在局限性，例如无法充分利用不同模态之间的互补信息，以及难以适应临床工作流程的动态性和复杂性。此外，现有模型的可解释性较差，难以让临床医生信任和使用。

核心思路：Cerebra的核心思路是构建一个多智能体AI团队，每个智能体负责处理特定类型的数据（例如，EHR智能体、临床笔记智能体、医学影像智能体）。这些智能体通过协作，共同对患者的病情进行综合评估，并提供可解释的决策支持。这种多智能体架构能够更好地利用不同模态的信息，并适应临床工作流程的复杂性。

技术框架：Cerebra的整体架构包括三个主要模块：1) 数据处理模块：负责从EHR、临床笔记和医学影像中提取特征。2) 多智能体协作模块：每个智能体使用特定的模型（例如，深度学习模型、自然语言处理模型）来分析其对应的数据，并将结果传递给其他智能体。3) 决策支持模块：将各个智能体的输出整合到一个面向临床医生的仪表板中，该仪表板提供可视化分析和对话界面，使临床医生能够询问预测并确定风险的上下文。

关键创新：Cerebra最重要的技术创新点在于其多智能体协作架构。与传统的单模态或多模态模型相比，Cerebra能够更好地利用不同模态之间的互补信息，并适应临床工作流程的复杂性。此外，Cerebra通过提供可解释的决策支持，增强了临床医生对模型的信任。

关键设计：Cerebra的关键设计包括：1) 使用结构化表示来保护患者隐私。2) 在模态不完整时保持稳健性。3) 提供可视化分析和对话界面，使临床医生能够询问预测并确定风险的上下文。具体的模型选择和参数设置取决于不同的智能体和任务，论文中可能没有详细描述所有细节。

📊 实验亮点

Cerebra在多机构数据集上进行了评估，结果表明其性能显著优于单模态模型和大型多模态语言模型。在痴呆症风险预测中，Cerebra实现了高达0.80的AUROC，而最强的单模态模型为0.74，语言模型基线为0.68。此外，Cerebra还显著提高了医生在预测性痴呆症风险评估中的准确率，提升了17.5个百分点。

🎯 应用场景

Cerebra具有广泛的应用前景，可用于各种临床决策支持场景，例如疾病诊断、风险评估、治疗方案选择等。通过整合多模态数据并提供可解释的决策支持，Cerebra可以帮助临床医生提高诊断准确率、降低医疗成本、改善患者预后。未来，Cerebra可以进一步扩展到其他医疗领域，并与其他临床系统集成，从而实现更智能化的医疗服务。

📄 摘要（原文）

Modern clinical practice increasingly depends on reasoning over heterogeneous, evolving, and incomplete patient data. Although recent advances in multimodal foundation models have improved performance on various clinical tasks, most existing models remain static, opaque, and poorly aligned with real-world clinical workflows. We present Cerebra, an interactive multi-agent AI team that coordinates specialized agents for EHR, clinical notes, and medical imaging analysis. These outputs are synthesized into a clinician-facing dashboard that combines visual analytics with a conversational interface, enabling clinicians to interrogate predictions and contextualize risk at the point of care. Cerebra supports privacy-preserving deployment by operating on structured representations and remains robust when modalities are incomplete. We evaluated Cerebra using a massive multi-institutional dataset spanning 3 million patients from four independent healthcare systems. Cerebra consistently outperformed both state-of-the-art single-modality models and large multimodal language model baselines. In dementia risk prediction, it achieved AUROCs up to 0.80, compared with 0.74 for the strongest single-modality model and 0.68 for language model baselines. For dementia diagnosis, it achieved an AUROC of 0.86, and for survival prediction, a C-index of 0.81. In a reader study with experienced physicians, Cerebra significantly improved expert performance, increasing accuracy by 17.5 percentage points in prospective dementia risk estimation. These results demonstrate Cerebra's potential for interpretable, robust decision support in clinical care.