Adaptive Clinical-Aware Latent Diffusion for Multimodal Brain Image Generation and Missing Modality Imputation

📄 arXiv: 2603.09931v1 📥 PDF

作者: Rong Zhou, Houliang Zhou, Yao Su, Brian Y. Chen, Yu Zhang, Lifang He, Alzheimer's Disease Neuroimaging Initiative

分类: cs.CV, cs.AI

发布日期: 2026-03-10

🔗 代码/项目: GITHUB

💡 一句话要点

ACADiff：基于临床感知的自适应潜在扩散模型，用于多模态脑图像生成和模态缺失填补

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态脑影像 模态缺失填补 扩散模型 自适应融合 临床信息引导

📋 核心要点

  1. 临床神经影像数据常存在模态缺失，限制了阿尔茨海默病诊断的准确性，现有方法难以有效利用有限信息进行模态重建。
  2. ACADiff利用自适应融合机制和GPT-4o编码的临床信息，在潜在空间中进行扩散去噪，从而实现高质量的模态生成。
  3. 实验表明，ACADiff在模态缺失情况下仍能保持优异的生成质量和诊断性能，显著优于现有方法，尤其是在高缺失率下。

📝 摘要（中文）

本研究针对阿尔茨海默病诊断中多模态神经影像数据缺失的问题，提出了一个名为ACADiff的框架，该框架通过自适应的临床感知扩散来合成缺失的脑部影像模态。ACADiff通过逐步去噪潜在表示来学习不完整的多模态观测与目标模态之间的映射，同时关注可用的影像数据和临床元数据。该框架采用自适应融合，根据输入可用性动态重新配置，并结合通过GPT-4o编码提示的语义临床指导。三个专门的生成器实现了sMRI、FDG-PET和AV45-PET之间的双向合成。在ADNI数据集上的评估表明，即使在80%的极端缺失情况下，ACADiff也能实现卓越的生成质量并保持稳健的诊断性能，优于所有现有基线。代码已在https://github.com/rongzhou7/ACADiff公开。

🔬 方法详解

问题定义：论文旨在解决多模态脑部影像数据中常见的模态缺失问题，特别是在阿尔茨海默病（AD）的诊断场景下。现有的模态生成方法通常难以有效利用有限的可用模态信息，并且忽略了重要的临床元数据，导致生成质量下降，影响后续的诊断准确性。

核心思路：ACADiff的核心思路是利用扩散模型强大的生成能力，在潜在空间中逐步去噪，从而实现从不完整的多模态观测到目标模态的映射。通过自适应融合机制，动态地根据可用的模态信息调整融合策略。同时，引入GPT-4o编码的临床信息作为语义指导，提升生成结果的临床相关性。

技术框架：ACADiff框架包含三个专门的生成器，分别用于sMRI、FDG-PET和AV45-PET之间的双向合成。整体流程如下：1) 输入不完整的多模态脑部影像数据和临床元数据；2) 通过编码器将输入数据映射到潜在空间；3) 利用自适应融合模块，根据可用模态信息动态调整融合权重；4) 使用扩散模型在潜在空间中进行迭代去噪，生成目标模态的潜在表示；5) 通过解码器将潜在表示映射回图像空间，得到生成的脑部影像。

关键创新：ACADiff的关键创新在于：1) 提出了自适应融合机制，能够根据输入数据的可用性动态调整融合策略，更好地利用有限的信息；2) 引入了GPT-4o编码的临床信息作为语义指导，提升了生成结果的临床相关性；3) 构建了专门针对sMRI、FDG-PET和AV45-PET的三模态生成器，实现了双向合成。与现有方法相比，ACADiff能够更有效地处理模态缺失问题，生成更高质量、更具临床意义的脑部影像。

关键设计：自适应融合模块采用注意力机制，根据输入模态的特征动态计算融合权重。GPT-4o用于将临床元数据编码为语义向量，并将其注入到扩散模型的去噪过程中。扩散模型采用U-Net结构，并引入了条件控制机制，以控制生成过程。损失函数包括重建损失、对抗损失和临床一致性损失，以保证生成结果的质量、真实性和临床相关性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ACADiff在ADNI数据集上进行了评估，结果表明，即使在80%的极端模态缺失情况下，ACADiff仍能实现卓越的生成质量，显著优于现有基线方法。实验结果还表明，ACADiff生成的脑部影像能够保持稳健的诊断性能，表明其具有很强的临床应用价值。具体性能数据在论文中详细展示，证明了ACADiff在模态缺失填补任务上的优越性。

🎯 应用场景

ACADiff在阿尔茨海默病诊断、脑部疾病研究等领域具有广泛的应用前景。它可以用于填补临床数据中缺失的模态，提高诊断的准确性和可靠性。此外，ACADiff还可以用于生成不同模态的脑部影像，为研究人员提供更多的数据支持，促进对脑部疾病的深入理解。未来，该技术有望应用于个性化医疗，为患者提供更精准的诊断和治疗方案。

📄 摘要（原文）

Multimodal neuroimaging provides complementary insights for Alzheimer's disease diagnosis, yet clinical datasets frequently suffer from missing modalities. We propose ACADiff, a framework that synthesizes missing brain imaging modalities through adaptive clinical-aware diffusion. ACADiff learns mappings between incomplete multimodal observations and target modalities by progressively denoising latent representations while attending to available imaging data and clinical metadata. The framework employs adaptive fusion that dynamically reconfigures based on input availability, coupled with semantic clinical guidance via GPT-4o-encoded prompts. Three specialized generators enable bidirectional synthesis among sMRI, FDG-PET, and AV45-PET. Evaluated on ADNI subjects, ACADiff achieves superior generation quality and maintains robust diagnostic performance even under extreme 80\% missing scenarios, outperforming all existing baselines. To promote reproducibility, code is available at https://github.com/rongzhou7/ACADiff