Self-supervised Fetal MRI 3D Reconstruction Based on Radiation Diffusion Generation Model

📄 arXiv: 2310.10209v1 📥 PDF

作者: Junpeng Tan, Xin Zhang, Yao Lv, Xiangmin Xu, Gang Li

分类: eess.IV, cs.CV, cs.LG

发布日期: 2023-10-16

💡 一句话要点

提出辐射扩散生成模型以解决胎儿MRI高质量重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 胎儿MRI 自监督学习 辐射扩散生成 神经辐射场 超分辨率重建 医学影像

📋 核心要点

  1. 现有的切片到体积方法无法有效解决胎儿MRI中不同堆叠区域的强度分布不均和互补性问题。
  2. 论文提出的辐射扩散生成模型（RDGM）结合了自监督生成和神经辐射场的思想，旨在实现高质量的胎儿脑MRI体积重建。
  3. 实验结果显示，RDGM在真实胎儿脑MRI堆叠上表现出优于现有方法的重建质量，具有显著的性能提升。

📝 摘要（中文）

尽管多堆叠方法可以处理切片到体积的运动校正和伪影去除问题，但仍存在多个挑战：1) 切片到体积方法通常使用切片作为输入，无法解决不同胎儿MRI堆叠区域的均匀强度分布和互补性问题；2) 3D空间的完整性未被考虑，影响胎儿MRI中全局一致信息的区分和生成；3) 现实世界中严重运动伪影的胎儿MRI无法实现高质量的超分辨率重建。为了解决这些问题，我们提出了一种新的胎儿脑MRI高质量体积重建方法，称为辐射扩散生成模型（RDGM）。该方法是一种自监督生成方法，结合了基于坐标生成的神经辐射场（NeRF）思想和基于超分辨率生成的扩散模型。通过预训练的变换器模型进行切片配准，并提出新的区域一致隐式神经表示（CINR）网络子模块，CINR可以通过结合两个不同坐标映射空间的坐标关联图生成初始体积。为了增强体积的全局一致性和区分性，我们引入了体积扩散超分辨率生成（VDSG）机制。实验结果表明，我们的方法在真实世界胎儿脑MRI堆叠上表现出最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决胎儿MRI高质量体积重建中的多个挑战，包括切片到体积方法的强度分布不均、3D空间完整性缺失以及运动伪影影响重建质量等问题。

核心思路：提出的辐射扩散生成模型（RDGM）通过自监督学习和结合神经辐射场的思想，利用切片配准和区域一致隐式神经表示生成初始体积，从而提高重建的全局一致性和区分性。

技术框架：RDGM的整体架构包括切片配准模块、区域一致隐式神经表示（CINR）网络和体积扩散超分辨率生成（VDSG）机制，形成一个完整的重建流程。

关键创新：最重要的技术创新在于引入了CINR网络和VDSG机制，前者解决了不同方向的区域强度异质性，后者增强了体积间的全局一致性，显著提升了重建效果。

关键设计：在设计中，使用预训练的变换器模型进行切片配准，CINR网络通过坐标关联图生成初始体积，VDSG机制则通过扩散生成思想实现全局强度判别生成，确保了重建的高质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RDGM在真实胎儿脑MRI堆叠上的重建质量显著优于现有方法，具体性能提升幅度达到XX%（具体数据未知），展示了其在处理运动伪影和强度不均问题上的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在医学影像学领域，能够为胎儿脑部疾病的早期诊断和治疗提供高质量的MRI重建结果。此外，RDGM的技术框架也可扩展到其他类型的医学影像重建任务中，推动相关领域的发展。

📄 摘要（原文）

Although the use of multiple stacks can handle slice-to-volume motion correction and artifact removal problems, there are still several problems: 1) The slice-to-volume method usually uses slices as input, which cannot solve the problem of uniform intensity distribution and complementarity in regions of different fetal MRI stacks; 2) The integrity of 3D space is not considered, which adversely affects the discrimination and generation of globally consistent information in fetal MRI; 3) Fetal MRI with severe motion artifacts in the real-world cannot achieve high-quality super-resolution reconstruction. To address these issues, we propose a novel fetal brain MRI high-quality volume reconstruction method, called the Radiation Diffusion Generation Model (RDGM). It is a self-supervised generation method, which incorporates the idea of Neural Radiation Field (NeRF) based on the coordinate generation and diffusion model based on super-resolution generation. To solve regional intensity heterogeneity in different directions, we use a pre-trained transformer model for slice registration, and then, a new regionally Consistent Implicit Neural Representation (CINR) network sub-module is proposed. CINR can generate the initial volume by combining a coordinate association map of two different coordinate mapping spaces. To enhance volume global consistency and discrimination, we introduce the Volume Diffusion Super-resolution Generation (VDSG) mechanism. The global intensity discriminant generation from volume-to-volume is carried out using the idea of diffusion generation, and CINR becomes the deviation intensity generation network of the volume-to-volume diffusion model. Finally, the experimental results on real-world fetal brain MRI stacks demonstrate the state-of-the-art performance of our method.