NeRF-CA: Dynamic Reconstruction of X-ray Coronary Angiography with Extremely Sparse-views

📄 arXiv: 2408.16355v2 📥 PDF

作者: Kirsten W. H. Maas, Danny Ruijters, Anna Vilanova, Nicola Pezzotti

分类: eess.IV, cs.CV

发布日期: 2024-08-29 (更新: 2025-06-11)

🔗 代码/项目: GITHUB

💡 一句话要点

NeRF-CA：提出一种基于极稀疏视角X射线冠状动脉造影的动态重建方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 冠状动脉造影 动态重建 稀疏视角 医学影像

📋 核心要点

  1. 现有冠状动脉造影(CA)重建方法依赖大量人工或数据，而NeRF直接应用受限于稀疏视角、运动和复杂血管形态。
  2. NeRF-CA将场景分解为运动的冠状动脉和静态背景，将运动问题转化为优势，从而实现稀疏视角下的重建。
  3. NeRF-CA仅需四个血管造影图即可实现充分的4D重建，显著优于现有稀疏视角X射线NeRF方法。

📝 摘要（中文）

从二维X射线冠状动脉造影(CA)中进行动态三维(4D)重建仍然是一个重要的临床问题。现有的CA重建方法通常需要大量用户交互或大型训练数据集。最近，神经辐射场(NeRF)已成功地在自然和医学环境中重建了高保真场景，而无需这些要求。然而，稀疏视角、扫描内运动和复杂的血管形态阻碍了其直接应用于CA数据。我们介绍了NeRF-CA，这是实现全自动4D CA重建的第一步，它实现了从稀疏冠状动脉血管造影图的重建。据我们所知，我们是第一个通过将场景解耦为移动的冠状动脉和静态背景来解决稀疏视角和心脏运动的挑战，有效地将运动问题转化为优势。NeRF-CA是解决4D CA重建问题的第一块垫脚石，实现了从临床实践所需的至少四个血管造影图的充分4D重建，同时显著优于最先进的稀疏视角X射线NeRF。我们使用具有代表性的4D幻影数据集和消融研究对我们的方法进行了定量和定性验证。为了加速该领域的研究，我们公开了我们的代码库：https://github.com/kirstenmaas/NeRF-CA。

🔬 方法详解

问题定义：论文旨在解决从极稀疏视角的X射线冠状动脉造影图像中进行动态三维（4D）重建的问题。现有方法通常需要大量的用户交互或大量的训练数据，这在临床实践中是不切实际的。此外，现有的NeRF方法在处理稀疏视角、扫描内运动（心脏跳动）以及复杂血管形态时面临挑战。

核心思路：论文的核心思路是将场景解耦为两个部分：移动的冠状动脉和静态的背景。通过这种方式，可以将心脏运动的影响从整个场景中分离出来，从而简化重建问题。作者认为，心脏运动本身可以作为一种信息，帮助区分冠状动脉和背景。

技术框架：NeRF-CA的整体框架基于NeRF，但进行了修改以适应冠状动脉造影的特点。主要流程包括：1) 数据预处理，包括图像配准和相机参数估计；2) 场景解耦，将场景分为动态的冠状动脉和静态的背景；3) 分别对冠状动脉和背景进行NeRF训练；4) 将两个NeRF模型的结果融合，得到最终的4D重建结果。

关键创新：该论文最关键的创新在于将场景解耦为动态冠状动脉和静态背景。这种解耦使得NeRF能够更好地处理心脏运动和稀疏视角问题。此外，该方法还利用了心脏运动的信息来提高重建质量。与现有方法相比，NeRF-CA不需要大量的用户交互或训练数据，并且能够处理更稀疏的视角。

关键设计：论文中没有详细说明具体的网络结构和参数设置，但提到使用了标准的NeRF架构，并针对冠状动脉造影的特点进行了一些调整。损失函数可能包括重建损失和正则化项，以提高重建质量和稳定性。具体的损失函数和网络结构细节需要在代码库中进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeRF-CA在4D幻影数据集上进行了定量和定性验证，结果表明该方法能够从极稀疏的视角（仅4个血管造影图）重建出高质量的冠状动脉结构。与现有的稀疏视角X射线NeRF方法相比，NeRF-CA取得了显著的性能提升，证明了其在处理稀疏视角和心脏运动方面的优势。消融实验也验证了场景解耦策略的有效性。

🎯 应用场景

NeRF-CA在临床上具有重要的应用价值。它可以帮助医生更准确地了解冠状动脉的结构和功能，从而更好地诊断和治疗心脏疾病。该技术可以应用于术前规划、术中导航和术后评估等多个环节。未来，该技术有望与人工智能算法相结合，实现更智能化的冠状动脉疾病诊疗。

📄 摘要（原文）

Dynamic three-dimensional (4D) reconstruction from two-dimensional X-ray coronary angiography (CA) remains a significant clinical problem. Existing CA reconstruction methods often require extensive user interaction or large training datasets. Recently, Neural Radiance Field (NeRF) has successfully reconstructed high-fidelity scenes in natural and medical contexts without these requirements. However, challenges such as sparse-views, intra-scan motion, and complex vessel morphology hinder its direct application to CA data. We introduce NeRF-CA, a first step toward a fully automatic 4D CA reconstruction that achieves reconstructions from sparse coronary angiograms. To the best of our knowledge, we are the first to address the challenges of sparse-views and cardiac motion by decoupling the scene into the moving coronary artery and the static background, effectively translating the problem of motion into a strength. NeRF-CA serves as a first stepping stone for solving the 4D CA reconstruction problem, achieving adequate 4D reconstructions from as few as four angiograms, as required by clinical practice, while significantly outperforming state-of-the-art sparse-view X-ray NeRF. We validate our approach quantitatively and qualitatively using representative 4D phantom datasets and ablation studies. To accelerate research in this domain, we made our codebase public: https://github.com/kirstenmaas/NeRF-CA.