Neural rendering enables dynamic tomography
作者: Ivan Grega, William F. Whitney, Vikram S. Deshpande
分类: physics.ins-det, cond-mat.mtrl-sci, cs.CV, cs.LG, eess.IV
发布日期: 2024-10-27
备注: 24 pages, 14 figures. Submitted to NeurIPS 2024 ML4PS. For associated visualizations, see https://neural-xray.github.io/nerfxray
💡 一句话要点
利用神经渲染实现动态断层扫描，突破传统X-CT在动态实验中的3D重建限制
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经渲染 动态断层扫描 X射线CT 神经辐射场 时空建模
📋 核心要点
- 传统中断式X-CT虽适用于准静态实验，但无法在不可中断的动态实验中进行完整3D断层重建。
- 利用神经辐射场，结合理论推导出的投影角度选择方法，实现比传统方法更高效的数据模态重建。
- 开发时空模型，使用样条变形场重建晶格样本的时空变形，并在真实实验中验证了其有效性。
📝 摘要（中文）
本文提出利用神经渲染工具推动范式转变，实现在动态事件中进行3D重建。针对传统X射线计算机断层扫描(X-CT)在动态实验中因中断而无法进行完整3D重建的问题，本研究首先推导了支持投影角度选择的理论结果。通过合成和实验数据的结合，证明了神经辐射场比传统重建方法更有效地重建感兴趣的数据模态。最后，开发了一种基于样条变形场的时空模型，并展示了该模型可以在真实实验中重建晶格样本的时空变形。
🔬 方法详解
问题定义：传统X射线计算机断层扫描(X-CT)在观察材料变形时，通常需要中断实验进行扫描。这对于准静态实验是有效的，但对于动态实验，特别是那些无法中断的实验，就无法进行完整的3D断层重建。现有的重建方法在数据效率和重建质量上存在局限性，难以满足动态实验的需求。
核心思路：本文的核心思路是利用神经渲染技术，特别是神经辐射场（NeRF），来解决动态实验中的3D重建问题。NeRF能够从稀疏的视角重建出高质量的3D模型，并且可以学习场景的连续表示，从而克服传统重建方法对投影角度和数据量的限制。通过优化NeRF的参数，可以从有限的投影数据中恢复出准确的3D结构和材质属性。
技术框架：该方法主要包含以下几个阶段：1) 理论分析：推导投影角度选择的理论依据，指导实验数据的采集。2) 神经辐射场重建：利用NeRF从X-CT投影数据中重建3D模型。3) 时空模型构建：引入基于样条的变形场，建立时空模型，用于捕捉动态实验中的形变过程。4) 优化与渲染：通过优化NeRF和变形场的参数，实现对动态场景的重建和渲染。
关键创新：该方法最重要的创新点在于将神经渲染技术应用于动态断层扫描。与传统的重建方法相比，NeRF能够从更少的投影数据中重建出更高质量的3D模型，并且可以学习场景的连续表示，从而更好地处理动态实验中的形变。此外，基于样条的变形场能够有效地捕捉时空形变，从而实现对动态过程的重建。
关键设计：在投影角度选择方面，论文推导了理论结果，用于指导实验数据的采集。在NeRF的实现方面，采用了标准的NeRF网络结构，并针对X-CT数据的特点进行了优化。在时空模型方面，使用了基于样条的变形场，通过控制点的运动来描述形变过程。损失函数包括重建损失和正则化项，用于约束NeRF和变形场的参数。
🖼️ 关键图片
📊 实验亮点
该研究通过合成数据和真实实验数据验证了所提出方法的有效性。实验结果表明，神经辐射场比传统重建方法更有效地重建感兴趣的数据模态。此外，该方法成功地重建了晶格样本在真实实验中的时空变形，证明了其在动态断层扫描中的应用潜力。具体的性能数据和对比基线信息未知。
🎯 应用场景
该研究成果可广泛应用于材料科学、生物医学工程等领域。例如，可以用于研究材料在动态载荷下的变形行为，分析生物组织在生理活动中的结构变化。该技术能够实现对动态过程的非侵入式、高分辨率3D重建，为相关领域的研究提供新的工具和视角，并有望推动相关领域的技术进步。
📄 摘要（原文）
Interrupted X-ray computed tomography (X-CT) has been the common way to observe the deformation of materials during an experiment. While this approach is effective for quasi-static experiments, it has never been possible to reconstruct a full 3d tomography during a dynamic experiment which cannot be interrupted. In this work, we propose that neural rendering tools can be used to drive the paradigm shift to enable 3d reconstruction during dynamic events. First, we derive theoretical results to support the selection of projections angles. Via a combination of synthetic and experimental data, we demonstrate that neural radiance fields can reconstruct data modalities of interest more efficiently than conventional reconstruction methods. Finally, we develop a spatio-temporal model with spline-based deformation field and demonstrate that such model can reconstruct the spatio-temporal deformation of lattice samples in real-world experiments.