DisQ-HNet: A Disentangled Quantized Half-UNet for Interpretable Multimodal Image Synthesis Applications to Tau-PET Synthesis from T1 and FLAIR MRI

📄 arXiv: 2602.22545v1 📥 PDF

作者: Agamdeep S. Chopra, Caitlin Neher, Tianyi Ren, Juampablo E. Heras Rivera, Mehmet Kurt

分类: cs.CV, cs.AI

发布日期: 2026-02-26

备注: 14 pages, 8 figures, 8 tables; includes PID guided vector quantized latent factorization and sobel edge conditioned Half-UNet decoder

💡 一句话要点

提出DisQ-HNet，用于从MRI合成Tau-PET并解析模态贡献

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像合成 Tau-PET合成 偏信息分解 向量量化 半UNet 阿尔茨海默症 医学图像分析

📋 核心要点

  1. Tau-PET是阿尔茨海默症的重要生物标志物，但成本高昂且不易获取，因此需要MRI替代方案。
  2. DisQ-HNet利用偏信息分解和向量量化编码器，解耦多模态信息，并用半UNet解码器合成Tau-PET。
  3. 实验表明，DisQ-HNet在重建精度和疾病信号保留方面优于VAE、VQ-VAE和UNet等基线方法。

📝 摘要（中文）

Tau正电子发射断层扫描(tau-PET)提供了一种阿尔茨海默病(AD)病理的体内标志物，但其成本和有限的可用性促使人们寻找基于MRI的替代方案。我们引入DisQ-HNet (DQH)框架，该框架从配对的T1加权和FLAIR MRI合成tau-PET，同时揭示每种模态对预测的贡献。该方法结合了(i)一个偏信息分解(PID)引导的、向量量化的编码器，它将潜在信息划分为冗余、独特和互补的成分，以及(ii)一个半UNet解码器，它使用基于结构边缘线索的伪跳跃连接而不是直接的编码器特征重用，从而保留了解剖细节。在多个基线(VAE、VQ-VAE和UNet)中，DisQ-HNet保持了重建保真度，并更好地保留了与疾病相关的信号，用于下游AD任务，包括Braak分期、tau定位和分类。基于PID的Shapley分析提供了合成摄取模式的模态特定归因。

🔬 方法详解

问题定义：论文旨在解决tau-PET成像成本高、可用性低的问题，通过MRI图像合成tau-PET图像，为阿尔茨海默症的诊断和研究提供更经济便捷的手段。现有方法难以有效利用多模态MRI信息，并且缺乏对不同模态贡献的解释性。

核心思路：论文的核心思路是利用偏信息分解(PID)来解耦多模态MRI信息，将信息分解为冗余、独特和互补成分，从而更好地理解和利用不同模态的贡献。同时，使用向量量化(VQ)来压缩潜在空间，并采用半UNet结构来保持解剖细节。

技术框架：DisQ-HNet由一个PID引导的向量量化编码器和一个半UNet解码器组成。编码器接收T1和FLAIR MRI图像作为输入，通过PID将潜在信息分解为不同成分，并使用VQ进行量化。解码器接收量化后的潜在表示，并使用伪跳跃连接和结构边缘线索来重建tau-PET图像。

关键创新：该方法的主要创新在于：(1) 使用PID来解耦多模态信息，提高了模型的可解释性；(2) 使用向量量化来压缩潜在空间，提高了模型的效率；(3) 使用半UNet结构和伪跳跃连接来保持解剖细节，提高了重建质量。与现有方法的本质区别在于，DisQ-HNet能够显式地建模不同模态的贡献，并提供更精细的控制。

关键设计：PID模块使用特定的损失函数来鼓励信息分解，VQ模块使用码本大小为K的码本来量化潜在表示。半UNet解码器使用结构边缘检测器提取边缘信息，并将其作为条件信息添加到伪跳跃连接中。损失函数包括重建损失、VQ损失和PID损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DisQ-HNet在tau-PET合成任务中优于VAE、VQ-VAE和UNet等基线方法。DisQ-HNet在重建保真度方面取得了显著提升，并且更好地保留了与疾病相关的信号，从而在Braak分期、tau定位和分类等下游任务中取得了更好的性能。基于PID的Shapley分析能够提供合成摄取模式的模态特定归因。

🎯 应用场景

该研究成果可应用于阿尔茨海默症的早期诊断、疾病进展监测和药物研发。通过MRI合成tau-PET图像，可以降低诊断成本，提高诊断效率，并为临床试验提供更多的数据。此外，该方法还可以推广到其他多模态医学图像合成任务中。

📄 摘要（原文）

Tau positron emission tomography (tau-PET) provides an in vivo marker of Alzheimer's disease pathology, but cost and limited availability motivate MRI-based alternatives. We introduce DisQ-HNet (DQH), a framework that synthesizes tau-PET from paired T1-weighted and FLAIR MRI while exposing how each modality contributes to the prediction. The method combines (i) a Partial Information Decomposition (PID)-guided, vector-quantized encoder that partitions latent information into redundant, unique, and complementary components, and (ii) a Half-UNet decoder that preserves anatomical detail using pseudo-skip connections conditioned on structural edge cues rather than direct encoder feature reuse. Across multiple baselines (VAE, VQ-VAE, and UNet), DisQ-HNet maintains reconstruction fidelity and better preserves disease-relevant signal for downstream AD tasks, including Braak staging, tau localization, and classification. PID-based Shapley analysis provides modality-specific attribution of synthesized uptake patterns.