Rigid Single-Slice-in-Volume registration via rotation-equivariant 2D/3D feature matching

📄 arXiv: 2410.18683v1 📥 PDF

作者: Stefan Brandstätter, Philipp Seeböck, Christoph Fürböck, Svitlana Pochepnia, Helmut Prosch, Georg Langs

分类: cs.CV, cs.LG

发布日期: 2024-10-24

DOI: 10.1007/978-3-031-73480-9_22

💡 一句话要点

提出一种基于旋转等变特征匹配的刚性单切片-体配准方法

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 2D/3D配准 旋转等变特征 群等变CNN 自监督学习 医学影像 单切片配准

📋 核心要点

  1. 现有的刚性单切片-体配准方法受限于姿态初始化、相邻切片堆栈或可靠的解剖标志等要求。
  2. 该方法利用群等变CNN提取旋转等变特征，从而在2D切片和3D体数据之间建立对应关系，实现配准。
  3. 实验结果表明，该方法在CT和MRI数据集上均表现出良好的配准精度和鲁棒性，角度误差小于2度。

📝 摘要（中文）

本文提出了一种自监督的2D/3D配准方法，用于将单个2D切片与相应的3D体数据进行匹配。该方法适用于缺乏解剖先验知识的数据，例如肿瘤图像。它通过使用群等变CNN来解决维度差异问题，并在2D平面内和3D平面外的旋转等变特征之间建立对应关系。这些旋转等变特征从2D查询切片中提取，并与它们的3D对应部分对齐。在NSCLC-Radiomics CT和KIRBY21 MRI数据集上的结果表明，所提出的切片-体配准方法具有鲁棒性，实现了小于2度的绝对中值角度误差和89%的平均匹配特征精度（容差为3像素）。

🔬 方法详解

问题定义：论文旨在解决医学图像中单张2D切片与3D体数据配准的问题。现有方法通常依赖于良好的姿态初始化、相邻切片的堆叠信息或可靠的解剖标志，这限制了它们在缺乏这些信息的场景下的应用，例如肿瘤图像等。

核心思路：论文的核心思路是利用旋转等变特征来建立2D切片和3D体数据之间的对应关系。通过提取对旋转具有不变性的特征，可以克服由于切片方向未知带来的配准难题，从而实现更鲁棒的配准。

技术框架：该方法主要包含以下几个阶段：1) 使用群等变CNN分别从2D切片和3D体数据中提取旋转等变特征；2) 通过特征匹配建立2D和3D特征之间的对应关系；3) 利用建立的对应关系估计2D切片在3D体数据中的位姿参数，完成配准。

关键创新：该方法最重要的创新点在于利用群等变CNN提取旋转等变特征。传统的CNN对图像的旋转敏感，而群等变CNN能够保证特征在图像旋转后仍然保持不变性，从而提高了配准的鲁棒性。此外，该方法采用自监督的方式进行训练，无需人工标注的配准信息。

关键设计：论文中使用了特定的群等变CNN架构，例如G-CNNs或类似的变体，来提取旋转等变特征。损失函数的设计旨在最大化2D切片和3D体数据之间对应特征的相似性，同时最小化不对应特征的相似性。具体的网络结构和参数设置在论文中有详细描述，但此处未给出具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在NSCLC-Radiomics CT和KIRBY21 MRI数据集上均取得了良好的配准效果。在角度误差方面，绝对中值误差小于2度。在特征匹配精度方面，容差为3像素时，平均匹配精度达到89%。这些结果表明，该方法具有较高的配准精度和鲁棒性，优于或可媲美现有方法。

🎯 应用场景

该研究成果可应用于多种医学影像任务，如计算机辅助诊断、手术导航和放射治疗计划。通过将2D图像与3D体数据精确配准，医生可以更准确地定位病灶、规划手术路径和评估治疗效果。此外，该方法还可扩展到机器人导航、自动驾驶和增强现实等领域，实现2D图像与3D环境的融合。

📄 摘要（原文）

2D to 3D registration is essential in tasks such as diagnosis, surgical navigation, environmental understanding, navigation in robotics, autonomous systems, or augmented reality. In medical imaging, the aim is often to place a 2D image in a 3D volumetric observation to w. Current approaches for rigid single slice in volume registration are limited by requirements such as pose initialization, stacks of adjacent slices, or reliable anatomical landmarks. Here, we propose a self-supervised 2D/3D registration approach to match a single 2D slice to the corresponding 3D volume. The method works in data without anatomical priors such as images of tumors. It addresses the dimensionality disparity and establishes correspondences between 2D in-plane and 3D out-of-plane rotation-equivariant features by using group equivariant CNNs. These rotation-equivariant features are extracted from the 2D query slice and aligned with their 3D counterparts. Results demonstrate the robustness of the proposed slice-in-volume registration on the NSCLC-Radiomics CT and KIRBY21 MRI datasets, attaining an absolute median angle error of less than 2 degrees and a mean-matching feature accuracy of 89% at a tolerance of 3 pixels.