Multimodal Deformable Image Registration for Long-COVID Analysis Based on Progressive Alignment and Multi-perspective Loss

📄 arXiv: 2406.15172v1 📥 PDF

作者: Jiahua Li, James T. Grist, Fergus V. Gleeson, Bartłomiej W. Papież

分类: eess.IV, cs.CV

发布日期: 2024-06-21

💡 一句话要点

提出基于渐进对齐和多视角损失的多模态可变形图像配准方法，用于长新冠分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像配准 可变形配准 深度学习 长新冠 肺部影像分析

📋 核心要点

  1. 直接配准CT和XeMRI图像存在挑战，现有方法难以有效融合两种模态的信息。
  2. 提出一种端到端的多模态可变形图像配准方法，并引入多视角损失函数MPL。
  3. 实验结果表明，该方法在CT和pMRI配准上Dice系数达到0.913，显著优于现有技术。

📝 摘要（中文）

长新冠的特征是持续存在的症状，特别是肺部损伤，这需要先进的影像技术来进行准确诊断。超极化氙-129 MRI (XeMRI) 通过可视化肺部通气、灌注以及气体交换，提供了一个有前景的途径。将来自 XeMRI 的功能数据与来自计算机断层扫描 (CT) 的结构数据相结合，对于长新冠的全面分析和有效治疗策略至关重要，这需要来自这些互补成像模式的精确数据对齐。为此，CT-MRI 配准是一个重要的中间步骤，因为它解决了直接对齐 CT 和 Xe-MRI 所带来的重大挑战。因此，我们提出了一种端到端的多模态可变形图像配准方法，该方法在对齐长新冠肺部 CT 和质子密度 MRI (pMRI) 数据方面实现了卓越的性能。此外，我们的方法还结合了一种新颖的多视角损失 (MPL) 函数，通过使其适应多模态任务，从而增强了最先进的单模态配准深度学习方法。配准结果实现了 0.913 的 Dice 系数得分，表明与最先进的多模态图像配准技术相比有了显着改进。由于 XeMRI 和 pMRI 图像是在同一会话中获取的，并且可以大致对齐，因此我们的结果有助于 XeMRI 和 CT 之间的后续配准，从而可能增强长新冠管理的临床决策。

🔬 方法详解

问题定义：论文旨在解决长新冠患者肺部CT和pMRI图像配准问题。由于CT和XeMRI图像模态差异大，直接配准困难，因此先进行CT和pMRI配准，再将pMRI作为桥梁连接XeMRI和CT。现有方法难以有效处理多模态图像配准，尤其是在肺部这种形变较大的区域。

核心思路：论文的核心思路是利用深度学习方法，学习CT和pMRI图像之间的形变场，实现精确配准。通过引入多视角损失函数MPL，增强网络对多模态信息的利用能力，从而提高配准精度。渐进对齐策略可能被用于逐步优化形变场，以应对肺部的大形变。

技术框架：整体框架是一个端到端的深度学习配准网络。输入是CT和pMRI图像，输出是形变场。网络可能包含编码器-解码器结构，编码器提取图像特征，解码器生成形变场。损失函数包括MPL以及其他常用的配准损失，例如互信息损失或均方误差损失。可能采用渐进式配准策略，逐步优化形变场。

关键创新：论文的关键创新在于多视角损失函数MPL。MPL的设计目的是增强网络对多模态信息的利用能力，从而提高配准精度。MPL可能从多个角度（例如，图像强度、梯度、特征空间）衡量配准结果的相似性，并将这些相似性度量结合起来，形成最终的损失函数。

关键设计：MPL的具体形式未知，但可以推测其设计考虑了CT和pMRI图像的模态差异。可能包含针对CT和pMRI图像的特定损失项，以及一个用于融合不同损失项的权重机制。网络结构可能采用U-Net或VoxelMorph等常用的配准网络结构。训练过程中，可能采用数据增强技术，例如随机形变、旋转和平移，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在长新冠肺部CT和pMRI配准任务上取得了显著的性能提升，Dice系数达到0.913，超过了现有最先进的多模态图像配准技术。这一结果表明该方法能够有效处理多模态图像配准问题，并为长新冠的诊断和治疗提供有力的技术支持。

🎯 应用场景

该研究成果可应用于长新冠患者的肺部影像分析，通过精确配准CT和MRI图像，医生可以更准确地评估肺部损伤程度和分布，从而制定更有效的治疗方案。该方法也可推广到其他多模态医学图像配准任务，例如PET-CT、SPECT-CT等，具有广泛的应用前景。

📄 摘要（原文）

Long COVID is characterized by persistent symptoms, particularly pulmonary impairment, which necessitates advanced imaging for accurate diagnosis. Hyperpolarised Xenon-129 MRI (XeMRI) offers a promising avenue by visualising lung ventilation, perfusion, as well as gas transfer. Integrating functional data from XeMRI with structural data from Computed Tomography (CT) is crucial for comprehensive analysis and effective treatment strategies in long COVID, requiring precise data alignment from those complementary imaging modalities. To this end, CT-MRI registration is an essential intermediate step, given the significant challenges posed by the direct alignment of CT and Xe-MRI. Therefore, we proposed an end-to-end multimodal deformable image registration method that achieves superior performance for aligning long-COVID lung CT and proton density MRI (pMRI) data. Moreover, our method incorporates a novel Multi-perspective Loss (MPL) function, enhancing state-of-the-art deep learning methods for monomodal registration by making them adaptable for multimodal tasks. The registration results achieve a Dice coefficient score of 0.913, indicating a substantial improvement over the state-of-the-art multimodal image registration techniques. Since the XeMRI and pMRI images are acquired in the same sessions and can be roughly aligned, our results facilitate subsequent registration between XeMRI and CT, thereby potentially enhancing clinical decision-making for long COVID management.