Physics-informed 4D X-ray image reconstruction from ultra-sparse spatiotemporal data

📄 arXiv: 2504.03469v1 📥 PDF

作者: Zisheng Yao, Yuhe Zhang, Zhe Hu, Robert Klöfkorn, Tobias Ritschel, Pablo Villanueva-Perez

分类: eess.IV, cs.AI, physics.data-an

发布日期: 2025-04-04

💡 一句话要点

提出4D-PIONIX，结合物理模型与深度学习，实现超稀疏时空数据下的4D X射线图像重建。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 4D X射线成像 物理信息神经网络 神经隐式表达 稀疏数据重建 流体动力学 时间分辨断层扫描 深度学习

📋 核心要点

  1. 传统4D X射线重建在稀疏时空数据下是病态问题，现有方法难以有效利用过程的物理信息。
  2. 4D-PIONIX结合完整物理模型与深度学习，通过物理信息约束优化神经隐式表达，实现高质量重建。
  3. 在模拟二元液滴碰撞的超稀疏数据重建中，验证了该方法在流体动力学研究中的潜力。

📝 摘要（中文）

现代X射线源提供的前所未有的X射线通量密度为快速动态过程的X射线成像提供了新的时空可能性。然而，由于扫描速度的限制（如时间分辨断层扫描）或时间点数量的限制（如频闪成像），这些方法通常导致投影数量或空间信息不足，使得重建问题成为病态问题，难以用经典方法解决。从这类数据进行4D重建需要样本先验，可以通过深度学习(DL)引入。目前先进的4D重建方法结合了AI和X射线传播物理特性来应对稀疏视图的挑战。但是，大多数方法没有约束研究过程的物理特性，即完整的物理模型。本文提出了一种新颖的基于物理信息的4D优化神经隐式X射线成像方法(4D-PIONIX)，该方法结合了完整的物理模型和最先进的基于DL的重建方法，用于从稀疏视图进行4D X射线成像。我们通过检索模拟二元液滴碰撞（一种相关的流体动力学过程）的超稀疏时空采集的4D信息，来展示和评估我们方法的潜力。我们设想这项工作将为各种4D X射线成像模式开辟新的时空可能性，例如时间分辨X射线断层扫描和更新颖的稀疏采集方法（如X射线多投影成像），这将为研究各种快速4D动态（如流体动力学和复合材料测试）铺平道路。

🔬 方法详解

问题定义：论文旨在解决从超稀疏时空X射线数据中进行高质量4D图像重建的问题。现有方法在处理此类数据时，由于投影数量或时间点不足，重建问题变得病态，难以获得准确的结果。此外，现有基于深度学习的方法通常忽略了被研究过程的物理信息，限制了重建质量。

核心思路：论文的核心思路是将完整的物理模型融入到深度学习重建框架中，利用物理信息作为先验知识来约束重建过程，从而提高重建质量和鲁棒性。具体来说，通过优化神经隐式表达，使得重建结果不仅与观测数据一致，也满足物理规律。

技术框架：4D-PIONIX方法的核心是一个基于神经隐式表达的4D重建框架。该框架包含以下主要模块：1) 神经隐式表达模块，用于表示4D图像；2) 物理模型模块，用于模拟X射线传播过程和被研究过程的物理规律；3) 优化模块，通过最小化数据一致性损失和物理一致性损失，优化神经隐式表达的参数。整体流程是：首先，利用神经隐式表达对4D图像进行参数化；然后，利用物理模型对X射线投影数据进行模拟；接着，计算模拟投影数据与真实投影数据之间的差异，以及重建结果与物理规律之间的差异；最后，通过优化算法最小化这些差异，从而得到高质量的4D图像重建结果。

关键创新：该方法最重要的创新点在于将完整的物理模型融入到深度学习重建框架中。与现有方法相比，该方法不仅利用了观测数据，还利用了被研究过程的物理信息，从而提高了重建质量和鲁棒性。此外，该方法还采用了神经隐式表达，可以有效地表示复杂的4D图像。

关键设计：在关键设计方面，论文采用了以下技术细节：1) 使用多层感知机(MLP)作为神经隐式表达，将时空坐标映射到体素密度；2) 使用X射线传播模型模拟X射线投影过程；3) 使用流体动力学模型描述二元液滴碰撞过程；4) 定义数据一致性损失和物理一致性损失，用于约束重建过程；5) 使用Adam优化器优化MLP的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过模拟二元液滴碰撞的实验，验证了4D-PIONIX方法的有效性。实验结果表明，该方法能够从超稀疏时空数据中重建出高质量的4D图像，并能够准确地捕捉到液滴碰撞过程中的动态变化。与没有物理信息约束的方法相比，该方法在重建质量上有显著提升，能够更准确地反映真实的物理过程。

🎯 应用场景

该研究成果可应用于各种需要从稀疏时空数据进行4D成像的领域，例如时间分辨X射线断层扫描、X射线多投影成像、流体动力学研究、复合材料测试等。通过该方法，可以更有效地利用稀疏数据，获得高质量的4D图像，从而为相关领域的研究提供更准确的信息。

📄 摘要（原文）

The unprecedented X-ray flux density provided by modern X-ray sources offers new spatiotemporal possibilities for X-ray imaging of fast dynamic processes. Approaches to exploit such possibilities often result in either i) a limited number of projections or spatial information due to limited scanning speed, as in time-resolved tomography, or ii) a limited number of time points, as in stroboscopic imaging, making the reconstruction problem ill-posed and unlikely to be solved by classical reconstruction approaches. 4D reconstruction from such data requires sample priors, which can be included via deep learning (DL). State-of-the-art 4D reconstruction methods for X-ray imaging combine the power of AI and the physics of X-ray propagation to tackle the challenge of sparse views. However, most approaches do not constrain the physics of the studied process, i.e., a full physical model. Here we present 4D physics-informed optimized neural implicit X-ray imaging (4D-PIONIX), a novel physics-informed 4D X-ray image reconstruction method combining the full physical model and a state-of-the-art DL-based reconstruction method for 4D X-ray imaging from sparse views. We demonstrate and evaluate the potential of our approach by retrieving 4D information from ultra-sparse spatiotemporal acquisitions of simulated binary droplet collisions, a relevant fluid dynamic process. We envision that this work will open new spatiotemporal possibilities for various 4D X-ray imaging modalities, such as time-resolved X-ray tomography and more novel sparse acquisition approaches like X-ray multi-projection imaging, which will pave the way for investigations of various rapid 4D dynamics, such as fluid dynamics and composite testing.