NeCA: 3D Coronary Artery Tree Reconstruction from Two 2D Projections via Neural Implicit Representation

📄 arXiv: 2409.04596v2 📥 PDF

作者: Yiying Wang, Abhirup Banerjee, Vicente Grau

分类: eess.IV, cs.CV

发布日期: 2024-09-06 (更新: 2024-12-13)

备注: 14 pages, 8 figures, 6 tables

期刊: Bioengineering 2024, 11(12), 1227

DOI: 10.3390/bioengineering11121227

💡 一句话要点

提出NeCA，通过神经隐式表示从两张2D图像重建3D冠状动脉树

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 冠状动脉 神经隐式表示 自监督学习 医学影像 血管造影 锥束投影

📋 核心要点

  1. 2D冠状动脉造影难以准确评估3D血管结构，且辐射限制导致可用信息不足，限制了3D重建的精度。
  2. NeCA利用神经隐式表示，通过多分辨率哈希编码和可微锥束投影，实现仅用两张2D图像的3D血管重建。
  3. 实验表明，NeCA在血管拓扑和分支连通性方面表现出色，且无需3D真值监督或大量训练数据。

📝 摘要（中文）

心血管疾病(CVDs)是全球最常见的健康威胁。2D X射线介入冠状动脉血管造影(ICA)仍然是实时心脏介入治疗期间CVD评估中最广泛采用的成像方式。然而，心脏科医生通常难以根据2D平面解释冠状血管的3D几何形状。此外，由于辐射限制，通常只获取两个血管造影投影，这限制了血管几何形状的信息，因此需要仅基于两个ICA投影进行3D冠状动脉树重建。在本文中，我们提出了一种名为NeCA的自监督深度学习方法，该方法基于使用多分辨率哈希编码器和可微锥束正向投影层进行神经隐式表示，从而实现从两个2D投影重建3D冠状动脉树。我们使用来自右冠状动脉和左前降支冠状动脉计算机断层扫描血管造影生成的数据集，通过六种不同的指标验证了我们的方法。评估结果表明，与监督深度学习模型相比，我们的NeCA方法在不需要3D ground truth进行监督或大型数据集进行训练的情况下，在血管拓扑和分支连通性保持方面都取得了有希望的性能。

🔬 方法详解

问题定义：论文旨在解决仅使用两张2D冠状动脉血管造影图像精确重建3D冠状动脉树的问题。现有方法或需要大量的3D标注数据进行监督学习，或在血管拓扑和分支连通性方面表现不佳，难以满足临床需求。

核心思路：论文的核心思路是利用神经隐式表示来建模3D冠状动脉树。通过将3D血管结构表示为一个连续的隐函数，可以有效地利用2D投影信息进行重建，并避免了对大量3D标注数据的依赖。同时，自监督学习框架允许模型从2D图像中学习3D结构信息。

技术框架：NeCA方法的整体框架包括以下几个主要模块：1) 多分辨率哈希编码器：用于将3D空间坐标编码成高维特征向量。2) 神经隐式表示网络：将编码后的特征向量映射到密度值，表示该点是否位于血管内部。3) 可微锥束正向投影层：将3D密度场投影到2D图像平面，模拟X射线血管造影的过程。4) 自监督损失函数：用于优化网络参数，使得重建的3D结构与2D投影图像一致。

关键创新：NeCA的关键创新在于：1) 使用神经隐式表示来建模3D血管结构，避免了对显式3D模型的依赖。2) 提出了一种可微锥束正向投影层，实现了从3D密度场到2D图像的端到端可微映射，从而可以使用自监督学习框架进行训练。3) 结合多分辨率哈希编码器，提高了重建的精度和效率。

关键设计：多分辨率哈希编码器使用不同分辨率的哈希表来存储特征向量，从而可以有效地表示不同尺度的血管结构。可微锥束正向投影层通过模拟X射线穿透过程，将3D密度场投影到2D图像平面。自监督损失函数包括图像重建损失和正则化损失，用于约束重建的3D结构与2D投影图像一致，并保证重建结果的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NeCA方法在重建3D冠状动脉树方面取得了显著的性能提升。与监督深度学习模型相比，NeCA在血管拓扑和分支连通性方面表现更优，且无需3D ground truth进行监督或大量数据集进行训练。具体指标包括 Dice 系数、Hausdorff 距离等，均优于对比方法。

🎯 应用场景

该研究成果可应用于临床冠状动脉介入治疗，帮助医生更准确地评估血管狭窄程度和病变位置，从而制定更有效的治疗方案。此外，该方法还可以用于医学影像分析、手术导航和虚拟现实等领域，具有广阔的应用前景。

📄 摘要（原文）

Cardiovascular diseases (CVDs) are the most common health threats worldwide. 2D X-ray invasive coronary angiography (ICA) remains the most widely adopted imaging modality for CVD assessment during real-time cardiac interventions. However, it is often difficult for cardiologists to interpret the 3D geometry of coronary vessels based on 2D planes. Moreover, due to the radiation limit, often only two angiographic projections are acquired, providing limited information of the vessel geometry and necessitating 3D coronary tree reconstruction based only on two ICA projections. In this paper, we propose a self-supervised deep learning method called NeCA, which is based on neural implicit representation using the multiresolution hash encoder and differentiable cone-beam forward projector layer, in order to achieve 3D coronary artery tree reconstruction from two 2D projections. We validate our method using six different metrics on a dataset generated from coronary computed tomography angiography of right coronary artery and left anterior descending artery. The evaluation results demonstrate that our NeCA method, without requiring 3D ground truth for supervision or large datasets for training, achieves promising performance in both vessel topology and branch-connectivity preservation compared to the supervised deep learning model.