SpaER: Learning Spatio-temporal Equivariant Representations for Fetal Brain Motion Tracking
作者: Jian Wang, Razieh Faghihpirayesh, Polina Golland, Ali Gholipour
分类: eess.IV, cs.CV
发布日期: 2024-07-29 (更新: 2024-07-31)
备注: 11 pages, 3 figures, Medical Image Computing and Computer Assisted Interventions (MICCAI) Workshop on Perinatal Imaging, Placental and Preterm Image analysis (PIPPI) 2024
💡 一句话要点
SpaER：学习时空等变表示，用于胎儿脑部运动追踪
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 胎儿MRI 运动追踪 等变神经网络 自注意力机制 时空表示学习
📋 核心要点
- 现有胎儿脑部运动追踪方法难以有效处理对比度变化和运动伪影导致的对齐误差，且缺乏对运动长期依赖性的建模。
- SpaER利用等变神经网络学习刚性运动序列，并结合时间编码和自注意力机制捕获胎儿脑部运动的时空依赖关系。
- 该模型在真实胎儿MRI图像上进行了验证，无需数据增强即可准确测量、追踪和校正胎儿运动。
📝 摘要（中文）
本文提出了一种名为SpaER的胎儿运动追踪方法，该方法利用等变滤波器和自注意力机制来有效地学习时空表示。与传统方法静态地从图像对中估计胎儿脑部运动不同，我们的方法动态地追踪胎儿头部在时间和空间维度上的刚性运动模式。具体来说，我们首先开发了一个等变神经网络，通过图像的低维空间表示有效地学习刚性运动序列。随后，我们通过结合时间编码和自注意力神经网络层来学习时空表示。这种方法能够捕获胎儿脑部运动的长期依赖关系，并解决由于对比度变化和严重运动伪影导致的对齐误差。我们的模型还提供了一种几何形变估计，可以适当地解决所有时间帧之间的图像失真。据我们所知，我们的方法是第一个通过深度神经网络学习时空表示来进行胎儿运动追踪，而无需数据增强。我们使用具有模拟和真实运动的真实胎儿回波平面图像验证了我们的模型。我们的方法在准确测量、追踪和校正胎儿MRI序列中的胎儿运动方面具有重要的潜在价值。
🔬 方法详解
问题定义：胎儿MRI成像中，胎儿的运动会导致图像模糊和伪影，严重影响诊断质量。现有的胎儿脑部运动追踪方法通常是静态地估计图像对之间的运动，无法有效处理对比度变化和严重的运动伪影，并且难以捕捉胎儿运动的长期依赖性。因此，需要一种能够动态追踪胎儿头部运动，并能有效处理图像失真的方法。
核心思路：SpaER的核心思路是利用等变神经网络学习胎儿脑部运动的刚性变换，并结合自注意力机制来建模运动的时空依赖性。等变网络能够保证模型对输入图像的刚性变换具有不变性，从而提高模型的鲁棒性。自注意力机制能够捕捉胎儿运动的长期依赖关系，从而提高运动追踪的准确性。
技术框架：SpaER的整体框架包括三个主要模块：1) 等变特征提取模块：使用等变卷积神经网络从胎儿MRI图像中提取对刚性变换具有不变性的特征表示。2) 时空编码模块：将时间信息编码到特征表示中，并使用自注意力机制建模运动的时空依赖性。3) 运动估计模块：根据时空编码后的特征表示，估计胎儿头部的刚性运动参数和几何形变。
关键创新：SpaER的关键创新在于：1) 提出了一种基于等变神经网络的时空表示学习方法，能够有效地追踪胎儿脑部运动，并处理图像失真。2) 利用自注意力机制建模运动的长期依赖性，提高了运动追踪的准确性。3) 无需数据增强即可在真实胎儿MRI图像上进行训练和测试。
关键设计：等变卷积神经网络采用Group Equivariant Convolutional Neural Networks (G-CNNs)，保证特征提取的等变性。时间编码采用正弦位置编码。自注意力机制采用多头注意力机制。损失函数包括运动估计损失和形变估计损失，用于约束模型学习准确的运动参数和形变参数。
🖼️ 关键图片
📊 实验亮点
SpaER在真实胎儿回波平面图像上进行了验证，实验结果表明，该方法能够有效地追踪胎儿脑部运动，并处理图像失真。与传统方法相比，SpaER在运动追踪的准确性和鲁棒性方面均有显著提升。值得注意的是，该方法无需数据增强即可在真实数据上取得良好的性能。
🎯 应用场景
SpaER在胎儿MRI成像中具有广泛的应用前景，可以用于胎儿脑部发育监测、胎儿脑部疾病诊断和胎儿脑部手术规划等。通过准确测量、追踪和校正胎儿运动，可以提高胎儿MRI图像的质量，从而提高诊断的准确性和可靠性。该技术还有潜力应用于其他医学影像领域，例如心脏MRI和腹部MRI等。
📄 摘要（原文）
In this paper, we introduce SpaER, a pioneering method for fetal motion tracking that leverages equivariant filters and self-attention mechanisms to effectively learn spatio-temporal representations. Different from conventional approaches that statically estimate fetal brain motions from pairs of images, our method dynamically tracks the rigid movement patterns of the fetal head across temporal and spatial dimensions. Specifically, we first develop an equivariant neural network that efficiently learns rigid motion sequences through low-dimensional spatial representations of images. Subsequently, we learn spatio-temporal representations by incorporating time encoding and self-attention neural network layers. This approach allows for the capture of long-term dependencies of fetal brain motion and addresses alignment errors due to contrast changes and severe motion artifacts. Our model also provides a geometric deformation estimation that properly addresses image distortions among all time frames. To the best of our knowledge, our approach is the first to learn spatial-temporal representations via deep neural networks for fetal motion tracking without data augmentation. We validated our model using real fetal echo-planar images with simulated and real motions. Our method carries significant potential value in accurately measuring, tracking, and correcting fetal motion in fetal MRI sequences.