CoPoE: Multimodal Fusion via Decomposable Disease-Coordinate Product-of-Experts for Missing-Modality Alzheimer's Diagnosis

📄 arXiv: 2610.11394v1 📥 PDF

作者: Chihun An, Ikbeom Jang

分类: cs.LG, cs.CV

发布日期: 2026-10-08

备注: Accepted at IEEE BIBM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoPoE以解决阿尔茨海默病多模态诊断中的缺失模态问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 阿尔茨海默病 缺失模态 专家模型 机器学习

📋 核心要点

  1. 现有的多模态融合方法在处理缺失模态时容易引入人工替代品，导致结果不可靠。
  2. CoPoE通过疾病坐标框架将多模态证据映射到结构化潜在空间，避免了对缺失模态的合成。
  3. 在ADNI数据集上，CoPoE在所有模态性能上表现最佳，显著提高了多项评估指标。

📝 摘要（中文）

多模态阿尔茨海默病（AD）诊断通过整合临床、影像、基因组和生物标志物证据获益，但临床队列常常面临模态缺失的问题。现有融合方法通常会合成缺失输入，可能引入人工替代品，或将可用信号汇聚到不可解释的潜在空间。本文提出了CoPoE（疾病坐标专家乘积），一个疾病坐标框架，将多模态证据映射到结构化的潜在空间，划分为四个不同的生物和临床轴：遗传风险、分子病理、神经退行性变和临床阶段（R/P/N/S）。每个观察模态在整个RPNS向量上参数化一个对角高斯专家，掩蔽的专家乘积架构仅融合可用模态。通过在ADNI数据集上的广泛缺失模态实验，CoPoE在所有模态性能上表现最佳，并在15个观察子集评估中实现了最高的平均AUROC，同时显著改善了原始概率ECE、Brier分数和NLL。

🔬 方法详解

问题定义：本文旨在解决阿尔茨海默病多模态诊断中模态缺失的问题。现有方法在缺失模态时往往会合成替代输入，导致结果的不可靠性和不可解释性。

核心思路：CoPoE的核心思路是通过疾病坐标框架，将多模态证据映射到结构化的潜在空间，避免对缺失模态的合成，从而保持模型的鲁棒性。

技术框架：CoPoE的整体架构包括四个生物和临床轴（遗传风险、分子病理、神经退行性变和临床阶段），每个模态通过对角高斯专家进行参数化，掩蔽的专家乘积架构仅融合可用模态。

关键创新：CoPoE的最大创新在于其疾病坐标框架和掩蔽的专家乘积架构，使得缺失模态不会影响融合路径，从而保持了可分解的后验分布。

关键设计：在模型设计中，采用了对角高斯分布来参数化每个模态，并通过掩蔽机制确保仅融合可用模态，避免了合成输入的引入。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在ADNI数据集上的实验结果显示，CoPoE在所有模态性能上表现最佳，15个观察子集评估中实现了最高的平均AUROC，同时显著改善了原始概率ECE、Brier分数和NLL，展现出优越的融合能力。

🎯 应用场景

该研究在阿尔茨海默病的多模态诊断中具有重要应用潜力，能够提高临床决策的准确性和可靠性。未来，该方法可能扩展到其他疾病的多模态数据融合，推动个性化医疗的发展。

📄 摘要（原文）

Multimodal Alzheimer's disease (AD) diagnosis benefits from integrating heterogeneous clinical, imaging, genomic, and biomarker evidence, but clinical cohorts frequently suffer from irregular modality missingness. Existing fusion methods often synthesize absent inputs, risking the introduction of artificial surrogates, or pool available signals into uninterpretable latent spaces. We present CoPoE (Disease-Coordinate Product-of-Experts), a disease-coordinate framework that maps multimodal evidence into a structured latent space partitioned into four distinct biological and clinical axes: genetic Risk, molecular Pathology, Neurodegeneration, and clinical Stage (R/P/N/S). Each observed modality parameterizes a diagonal Gaussian expert over the full RPNS vector, and a masked Product-of-Experts architecture fuses only the available modalities. Consequently, absent modalities add no factor to the fusion path, allowing the network to preserve a robust, decomposable posterior for any non-empty modality subset without synthetic imputation in the RPNS path. Through extensive missing-modality experiments on the ADNI dataset, CoPoE achieves the best all-modality performance and the highest mean AUROC across all 15 observed-subset evaluations among standardized missing-modality fusion baselines under a shared non-PET ADNI embedding benchmark, while substantially improving raw-probability ECE, Brier score, and NLL. Furthermore, PET-supervised probing shows evidence enrichment within the pathology (P) block under full modalities, with tau-related signal retained even when direct fluid biospecimen inputs are withheld. Our code is available at https://github.com/labhai/CoPoE.