Robust deformable image registration using cycle-consistent implicit representations

📄 arXiv: 2310.01934v1 📥 PDF

作者: Louis D. van Harten, Jaap Stoker, Ivana Išgum

分类: eess.IV, cs.CV

发布日期: 2023-10-03

备注: 10 pages, 9 figures, accepted in IEEE Transactions on Medical Imaging

DOI: 10.1109/TMI.2023.3321425

💡 一句话要点

提出循环一致性隐式表示以解决医学图像配准的鲁棒性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 医学图像配准 隐式神经表示 循环一致性 鲁棒性 优化算法 深度学习 4D CT 不确定性度量

📋 核心要点

  1. 现有的隐式神经表示方法在每对新图像的优化过程中存在收敛性差的问题，导致优化失败。
  2. 本文提出了一种循环一致性隐式神经表示的可变形配准方法，通过相互正则化提高了优化的鲁棒性。
  3. 实验结果显示，该方法在4D肺CT数据集上优化失败率降至0.0%，标志点精度提高4.5%。

📝 摘要（中文）

近年来，医学图像配准领域提出了隐式神经表示的应用，显示出与最先进学习方法相媲美的性能。然而，这些隐式表示需要针对每对新图像进行优化，这一随机过程可能无法收敛到全局最优。为提高鲁棒性，本文提出了一种使用循环一致性隐式神经表示的可变形配准方法。每个隐式表示与第二个隐式表示相连，后者估计相反的变换，使得每个网络充当其配对对立面的正则化器。在推理过程中，通过数值反转配对的反向变换生成多个变形估计，并评估优化对的共识。这种共识提高了配准精度，并产生了一种可用于自动质量控制的鲁棒不确定性度量。我们在4D肺CT数据集上评估了该方法，优化失败率从2.4%降至0.0%。

🔬 方法详解

问题定义：本文旨在解决医学图像配准中隐式神经表示的优化失败问题，现有方法在处理新图像对时常常无法收敛到全局最优解。

核心思路：提出循环一致性隐式神经表示，通过将每个隐式表示与其相反变换的表示相连，使得每个网络在优化过程中相互正则化，从而提高鲁棒性。

技术框架：整体方法包括两个主要模块：一是生成隐式神经表示，二是通过数值反转配对的反向变换生成多个变形估计，并通过共识评估优化结果。

关键创新：最重要的创新在于引入循环一致性机制，使得隐式表示之间形成正则化关系，从而显著降低优化失败率，与现有方法相比具有本质区别。

关键设计：在网络结构设计上，采用了双向隐式表示，损失函数设计考虑了变换一致性和优化稳定性，确保了在推理阶段的多样性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在4D肺CT数据集上将优化失败率从2.4%降低至0.0%，标志点精度提高了4.5%。此外，在腹部4D MRI的中心线传播任务中，方法的传播一致性提高了46%，显示出强的通用性和有效性。

🎯 应用场景

该研究在医学图像配准领域具有广泛的应用潜力，尤其是在肺部CT和MRI等复杂影像的处理上。通过提高配准的鲁棒性和准确性，能够为临床诊断和治疗提供更可靠的支持，未来可能推动个性化医疗的发展。

📄 摘要（原文）

Recent works in medical image registration have proposed the use of Implicit Neural Representations, demonstrating performance that rivals state-of-the-art learning-based methods. However, these implicit representations need to be optimized for each new image pair, which is a stochastic process that may fail to converge to a global minimum. To improve robustness, we propose a deformable registration method using pairs of cycle-consistent Implicit Neural Representations: each implicit representation is linked to a second implicit representation that estimates the opposite transformation, causing each network to act as a regularizer for its paired opposite. During inference, we generate multiple deformation estimates by numerically inverting the paired backward transformation and evaluating the consensus of the optimized pair. This consensus improves registration accuracy over using a single representation and results in a robust uncertainty metric that can be used for automatic quality control. We evaluate our method with a 4D lung CT dataset. The proposed cycle-consistent optimization method reduces the optimization failure rate from 2.4% to 0.0% compared to the current state-of-the-art. The proposed inference method improves landmark accuracy by 4.5% and the proposed uncertainty metric detects all instances where the registration method fails to converge to a correct solution. We verify the generalizability of these results to other data using a centerline propagation task in abdominal 4D MRI, where our method achieves a 46% improvement in propagation consistency compared with single-INR registration and demonstrates a strong correlation between the proposed uncertainty metric and registration accuracy.