DisQ-HNet: A Disentangled Quantized Half-UNet for Interpretable Multimodal Image Synthesis Applications to Tau-PET Synthesis from T1 and FLAIR MRI

📄 arXiv: 2602.22545 📥 PDF

作者: Agamdeep S. Chopra, Caitlin Neher, Tianyi Ren, Juampablo E. Heras Rivera, Mehmet Kurt

分类: cs.CV, cs.AI

发布日期: 2026-02-28

💡 一句话要点

提出DisQ-HNet，用于从MRI合成Tau-PET并解析模态贡献

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像合成 偏信息分解 向量量化 半UNet 阿尔茨海默病 Tau-PET MRI

📋 核心要点

  1. Tau-PET是阿尔茨海默病的重要生物标志物，但成本高昂且不易获取，因此需要MRI替代方案。
  2. DisQ-HNet通过偏信息分解引导的向量量化编码器和半UNet解码器，实现从MRI到Tau-PET的合成，并解析模态贡献。
  3. 实验表明，DisQ-HNet在重建保真度和疾病相关信号保留方面优于VAE、VQ-VAE和UNet等基线方法。

📝 摘要（中文）

Tau正电子发射断层扫描(tau-PET)提供了一种阿尔茨海默病(AD)病理的体内标志物，但其成本和有限的可用性促使人们寻找基于MRI的替代方案。我们引入了DisQ-HNet (DQH)框架，该框架从配对的T1加权和FLAIR MRI合成tau-PET，同时揭示每种模态对预测的贡献。该方法结合了(i)偏信息分解(PID)引导的向量量化编码器，将潜在信息划分为冗余、独特和互补的成分，以及(ii)半UNet解码器，该解码器使用以结构边缘线索为条件的伪跳跃连接而不是直接的编码器特征重用，从而保留了解剖细节。在多个基线(VAE、VQ-VAE和UNet)中，DisQ-HNet保持了重建保真度，并更好地保留了与疾病相关的信号，用于下游AD任务，包括Braak分期、tau定位和分类。基于PID的Shapley分析提供了合成摄取模式的模态特异性归因。

🔬 方法详解

问题定义：论文旨在解决tau-PET成像成本高昂且不易获取的问题，通过MRI图像合成tau-PET图像，为阿尔茨海默病的研究和诊断提供更经济便捷的手段。现有方法难以有效分离不同MRI模态的信息，且重建的tau-PET图像质量不高，影响下游任务的准确性。

核心思路：论文的核心思路是利用偏信息分解(PID)将不同MRI模态的信息分解为冗余、独特和互补的成分，从而更好地理解和利用不同模态的信息。同时，采用半UNet结构，并使用结构边缘线索作为条件，以保留更多的解剖细节，提高合成tau-PET图像的质量。

技术框架：DisQ-HNet框架主要包含两个部分：(1) PID引导的向量量化编码器：该编码器将T1和FLAIR MRI图像作为输入，通过向量量化将潜在信息分解为冗余、独特和互补的成分。(2) 半UNet解码器：该解码器以编码器的输出为输入，并使用结构边缘线索作为条件，通过伪跳跃连接重建tau-PET图像。整个框架通过端到端的方式进行训练。

关键创新：论文的关键创新在于将偏信息分解(PID)引入到多模态图像合成任务中，通过PID可以将不同模态的信息进行解耦，从而更好地理解和利用不同模态的信息。此外，半UNet结构和结构边缘线索的使用也有助于提高合成图像的质量。

关键设计：论文使用了向量量化(VQ)来离散化潜在空间，并使用Gumbel-Softmax技巧进行训练。损失函数包括重建损失、量化损失和PID损失。半UNet解码器使用伪跳跃连接，并以结构边缘线索作为条件，以保留更多的解剖细节。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DisQ-HNet在tau-PET图像重建的保真度方面优于VAE、VQ-VAE和UNet等基线方法。此外，DisQ-HNet在下游AD任务（包括Braak分期、tau定位和分类）中也取得了更好的性能。基于PID的Shapley分析能够提供合成摄取模式的模态特异性归因。

🎯 应用场景

该研究成果可应用于阿尔茨海默病的早期诊断和风险评估，通过MRI合成tau-PET图像，降低了诊断成本和患者负担。此外，该方法还可以用于研究不同MRI模态对tau-PET合成的贡献，从而更好地理解阿尔茨海默病的发病机制。未来，该技术有望推广到其他多模态医学图像合成任务中。

📄 摘要（原文）

Tau positron emission tomography (tau-PET) provides an in vivo marker of Alzheimer's disease pathology, but cost and limited availability motivate MRI-based alternatives. We introduce DisQ-HNet (DQH), a framework that synthesizes tau-PET from paired T1-weighted and FLAIR MRI while exposing how each modality contributes to the prediction. The method combines (i) a Partial Information Decomposition (PID)-guided, vector-quantized encoder that partitions latent information into redundant, unique, and complementary components, and (ii) a Half-UNet decoder that preserves anatomical detail using pseudo-skip connections conditioned on structural edge cues rather than direct encoder feature reuse. Across multiple baselines (VAE, VQ-VAE, and UNet), DisQ-HNet maintains reconstruction fidelity and better preserves disease-relevant signal for downstream AD tasks, including Braak staging, tau localization, and classification. PID-based Shapley analysis provides modality-specific attribution of synthesized uptake patterns.