Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane
作者: Chen Yang, Kailing Wang, Yuehao Wang, Qi Dou, Xiaokang Yang, Wei Shen
分类: cs.CV, cs.AI
发布日期: 2023-12-23
🔗 代码/项目: GITHUB
💡 一句话要点
提出Forplane，通过正交神经平面高效重建可变形组织，加速术中应用。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 可变形组织重建 神经辐射场 正交神经平面 术中导航 内窥镜视频 时空重要性采样 高效光线步进
📋 核心要点
- 现有可变形组织重建方法在渲染质量和计算效率间存在妥协，计算耗时阻碍了实际应用。
- Forplane将手术过程视为4D体积，分解为正交神经平面的静态和动态场，降低内存占用并加速优化。
- 通过时空重要性采样和高效光线步进，Forplane在保持或提升重建质量的同时，显著加速优化和推理过程。
📝 摘要（中文）
本文提出了一种名为Fast Orthogonal Plane (Forplane) 的高效框架，该框架基于神经辐射场 (NeRF)，用于重建可变形组织。我们将手术过程概念化为4D体积，并将其分解为由正交神经平面组成的静态和动态场。这种分解离散化了四维空间，从而减少了内存使用并加快了优化速度。引入了一种时空重要性采样方案，以提高工具遮挡以及大运动区域的性能，并加速训练。应用了一种有效的光线步进方法来跳过空区域的采样，从而显着提高了推理速度。Forplane 适用于双目和单目内窥镜视频，展示了其广泛的适用性和灵活性。在 EndoNeRF 和 Hamlyn 两个体内数据集上进行的实验表明了我们框架的有效性。在所有情况下，Forplane 显着加速了优化过程（超过 100 倍）和推理过程（超过 15 倍），同时保持甚至提高了各种非刚性变形的质量。这种显着的性能提升有望成为未来术中手术应用的宝贵资产。项目代码已在 GitHub 上开源。
🔬 方法详解
问题定义：现有基于NeRF的可变形组织重建方法计算量巨大，优化时间长，难以满足术中实时性要求。这些方法通常需要数十小时才能完成重建，严重限制了其在实际手术中的应用。因此，如何高效地重建可变形组织，是本文要解决的核心问题。
核心思路：Forplane的核心思路是将4D手术过程分解为静态和动态场，并使用正交神经平面来表示这些场。通过这种分解，可以将连续的4D空间离散化，从而降低内存占用和计算复杂度。同时，利用时空重要性采样和高效光线步进，进一步加速优化和推理过程。
技术框架：Forplane框架主要包含以下几个模块：1) 正交神经平面表示：使用正交神经平面来表示静态和动态场；2) 时空重要性采样：根据工具遮挡和大运动区域的重要性，进行采样；3) 高效光线步进：跳过空区域的采样，加速推理；4) NeRF渲染：利用神经辐射场进行图像渲染。整体流程为：输入内窥镜视频，通过正交神经平面表示场景，利用时空重要性采样进行训练，最后通过高效光线步进和NeRF渲染得到重建结果。
关键创新：Forplane的关键创新在于使用正交神经平面来表示4D手术过程。这种表示方法有效地降低了内存占用和计算复杂度，使得实时重建成为可能。此外，时空重要性采样和高效光线步进进一步提升了性能。与现有方法相比，Forplane在保证重建质量的同时，显著提高了优化和推理速度。
关键设计：Forplane的关键设计包括：1) 正交神经平面的数量和分辨率；2) 时空重要性采样的策略，例如如何根据工具遮挡和大运动区域计算权重；3) 高效光线步进的实现方式，例如如何快速判断空区域；4) NeRF网络的结构和损失函数。这些参数和策略的选择会直接影响重建质量和性能。
📊 实验亮点
实验结果表明，Forplane在 EndoNeRF 和 Hamlyn 两个体内数据集上均取得了显著的性能提升。与现有方法相比，Forplane的优化速度提高了超过100倍，推理速度提高了超过15倍，同时保持甚至提高了重建质量。这些结果充分证明了Forplane的有效性和优越性。
🎯 应用场景
Forplane在术中导航、机器人辅助手术、手术模拟和培训等领域具有广泛的应用前景。通过实时重建可变形组织，医生可以更准确地了解手术区域的解剖结构，提高手术精度和安全性。此外，Forplane还可以用于开发更逼真的手术模拟器，为医学生的培训提供更好的平台。未来，Forplane有望成为智能手术系统的关键组成部分。
📄 摘要（原文）
Intraoperative imaging techniques for reconstructing deformable tissues in vivo are pivotal for advanced surgical systems. Existing methods either compromise on rendering quality or are excessively computationally intensive, often demanding dozens of hours to perform, which significantly hinders their practical application. In this paper, we introduce Fast Orthogonal Plane (Forplane), a novel, efficient framework based on neural radiance fields (NeRF) for the reconstruction of deformable tissues. We conceptualize surgical procedures as 4D volumes, and break them down into static and dynamic fields comprised of orthogonal neural planes. This factorization iscretizes the four-dimensional space, leading to a decreased memory usage and faster optimization. A spatiotemporal importance sampling scheme is introduced to improve performance in regions with tool occlusion as well as large motions and accelerate training. An efficient ray marching method is applied to skip sampling among empty regions, significantly improving inference speed. Forplane accommodates both binocular and monocular endoscopy videos, demonstrating its extensive applicability and flexibility. Our experiments, carried out on two in vivo datasets, the EndoNeRF and Hamlyn datasets, demonstrate the effectiveness of our framework. In all cases, Forplane substantially accelerates both the optimization process (by over 100 times) and the inference process (by over 15 times) while maintaining or even improving the quality across a variety of non-rigid deformations. This significant performance improvement promises to be a valuable asset for future intraoperative surgical applications. The code of our project is now available at https://github.com/Loping151/ForPlane.