A Quantitative Evaluation of Dense 3D Reconstruction of Sinus Anatomy from Monocular Endoscopic Video
作者: Jan Emily Mangulabnan, Roger D. Soberanis-Mukul, Timo Teufel, Isabela Hernández, Jonas Winter, Manish Sahu, Jose L. Porras, S. Swaroop Vedula, Masaru Ishii, Gregory Hager, Russell H. Taylor, Mathias Unberath
分类: cs.CV
发布日期: 2023-10-22
💡 一句话要点
提出自监督方法以提高单目内窥镜视频的鼻窦三维重建精度
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 三维重建 内窥镜视频 自监督学习 医学影像 深度估计 姿态估计 鼻窦解剖
📋 核心要点
- 现有单目重建方法在复杂内窥镜场景中表现不佳，难以进行定量基准测试和理解失败案例。
- 本文提出了一种自监督的鼻窦重建方法，结合光学追踪和高分辨率CT数据，以提高重建精度。
- 实验结果表明，生成的重建与CT分割高度一致，平均点到网格误差为0.91毫米，显示出该方法的有效性。
📝 摘要（中文）
从内窥镜视频生成准确的三维重建是进行无辐射的鼻窦解剖和手术结果分析的有前景的途径。现有的单目重建方法虽然能够生成视觉上令人满意的三维结构，但由于算法复杂性和内窥镜场景的特性，重建过程可能表现不佳或意外失败。本文对一种自监督的鼻窦重建方法进行了定量分析，使用与光学追踪和高分辨率计算机断层扫描配对的内窥镜序列。结果显示，生成的重建与解剖结构高度一致，平均点到网格误差为0.91毫米，但在点对点匹配场景中，目标配准误差为6.58毫米。研究发现，姿态和深度估计的不准确性对误差贡献相当，局部一致的短轨迹序列生成更准确的重建。这表明实现相对相机姿态和估计深度与解剖结构之间的全局一致性至关重要。
🔬 方法详解
问题定义：本文旨在解决从单目内窥镜视频生成鼻窦三维重建时的精度不足问题。现有方法在复杂场景中常常出现重建失败或精度不高的情况。
核心思路：论文提出了一种自监督的重建方法，通过结合光学追踪和高分辨率CT数据，来提高重建的准确性和可靠性。这样的设计可以有效地利用现有的医疗影像数据，增强重建结果的质量。
技术框架：整体架构包括数据采集、光学追踪、深度估计和三维重建几个主要模块。首先，通过内窥镜视频和CT图像进行数据配对，然后利用结构光法和运动重建算法进行姿态估计，最后生成三维重建模型。
关键创新：最重要的技术创新在于自监督学习的引入，使得模型能够在缺乏大量标注数据的情况下，仍然能够进行有效的训练和优化。与现有方法相比，该方法在处理复杂场景时表现出更好的鲁棒性和准确性。
关键设计：在参数设置上，采用了适应性损失函数以平衡姿态和深度估计的影响，同时在网络结构上引入了多尺度特征提取模块，以提高重建的细节表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，生成的三维重建与CT分割的平均点到网格误差为0.91毫米，而在点对点匹配中，目标配准误差为6.58毫米。这表明该方法在重建精度上具有显著优势，尤其是在短轨迹序列的情况下，重建效果更为理想。
🎯 应用场景
该研究的潜在应用领域包括耳鼻喉科手术导航、术后评估以及医学教育等。通过提供高精度的三维重建，医生可以更好地理解患者的解剖结构，从而提高手术的安全性和有效性。此外，该技术的推广可能会推动内窥镜技术的进一步发展和应用。
📄 摘要（原文）
Generating accurate 3D reconstructions from endoscopic video is a promising avenue for longitudinal radiation-free analysis of sinus anatomy and surgical outcomes. Several methods for monocular reconstruction have been proposed, yielding visually pleasant 3D anatomical structures by retrieving relative camera poses with structure-from-motion-type algorithms and fusion of monocular depth estimates. However, due to the complex properties of the underlying algorithms and endoscopic scenes, the reconstruction pipeline may perform poorly or fail unexpectedly. Further, acquiring medical data conveys additional challenges, presenting difficulties in quantitatively benchmarking these models, understanding failure cases, and identifying critical components that contribute to their precision. In this work, we perform a quantitative analysis of a self-supervised approach for sinus reconstruction using endoscopic sequences paired with optical tracking and high-resolution computed tomography acquired from nine ex-vivo specimens. Our results show that the generated reconstructions are in high agreement with the anatomy, yielding an average point-to-mesh error of 0.91 mm between reconstructions and CT segmentations. However, in a point-to-point matching scenario, relevant for endoscope tracking and navigation, we found average target registration errors of 6.58 mm. We identified that pose and depth estimation inaccuracies contribute equally to this error and that locally consistent sequences with shorter trajectories generate more accurate reconstructions. These results suggest that achieving global consistency between relative camera poses and estimated depths with the anatomy is essential. In doing so, we can ensure proper synergy between all components of the pipeline for improved reconstructions that will facilitate clinical application of this innovative technology.