ST-NeRP: Spatial-Temporal Neural Representation Learning with Prior Embedding for Patient-specific Imaging Study

📄 arXiv: 2410.19283v1 📥 PDF

作者: Liang Qiu, Liyue Shen, Lianli Liu, Junyan Liu, Yizheng Chen, Lei Xing

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-10-25

备注: 14 pages with 10 figures and 6 tables

💡 一句话要点

ST-NeRP：用于患者特异性影像研究的时空神经表征学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 隐式神经表征 时空建模 医学影像 形变预测 患者特异性 4D CT 纵向研究

📋 核心要点

  1. 现有方法难以可靠地捕捉和预测患者特异性图像序列中的时空解剖结构变化。
  2. ST-NeRP通过隐式神经表征学习时空连续的形变函数，并结合先验嵌入来预测形变场。
  3. ST-NeRP在4D CT和纵向CT数据集上验证了有效性，可用于监测治疗过程中的解剖结构变化。

📝 摘要（中文）

本文提出了一种用于患者特异性影像研究的时空神经表征学习策略（ST-NeRP）。该策略利用隐式神经表征（INR）网络将参考时间点的图像编码为先验嵌入。随后，通过另一个INR网络学习时空连续的形变函数。该网络使用整个患者特异性图像序列进行训练，从而能够预测各种目标时间点的形变场。ST-NeRP模型在包括胸部和腹部成像中的4D CT和纵向CT数据集等多种序列图像系列中的应用证明了其有效性。所提出的ST-NeRP模型在监测患者整个治疗过程中的解剖结构变化方面具有巨大的潜力。

🔬 方法详解

问题定义：论文旨在解决从患者特异性图像序列中可靠地捕捉和预测时空解剖结构变化的问题。现有方法难以准确建模患者在治疗过程中复杂的解剖结构形变，尤其是在长期随访的情况下。

核心思路：论文的核心思路是利用隐式神经表征（INR）将图像编码为连续的函数，从而能够学习时空连续的形变场。通过将参考时间点的图像编码为先验嵌入，模型可以更好地捕捉患者的个体差异，并预测后续时间点的解剖结构变化。

技术框架：ST-NeRP模型包含两个主要的INR网络。第一个INR网络将参考时间点的图像编码为先验嵌入。第二个INR网络学习一个时空连续的形变函数，该函数以空间坐标和时间点作为输入，输出形变场。整个模型使用患者特异性图像序列进行训练，通过最小化预测图像与真实图像之间的差异来优化网络参数。

关键创新：ST-NeRP的关键创新在于将INR网络应用于时空形变建模，并结合先验嵌入来捕捉患者的个体差异。与传统的图像配准方法相比，ST-NeRP能够学习连续的形变场，并更好地处理复杂的解剖结构变化。此外，先验嵌入的使用使得模型能够更好地适应患者特异性数据。

关键设计：模型使用MLP作为INR网络，损失函数包括预测图像与真实图像之间的L1损失或L2损失，以及可选的正则化项，以保证形变场的平滑性。具体的网络结构和参数设置需要根据具体的数据集进行调整。时间信息的编码方式也可能影响模型的性能，例如可以使用傅里叶特征编码时间信息。

📊 实验亮点

论文在4D CT和纵向CT数据集上进行了实验，结果表明ST-NeRP能够准确地预测患者在不同时间点的解剖结构变化。具体的性能指标（如Dice系数、平均表面距离等）需要在论文中查找。与传统的图像配准方法相比，ST-NeRP在捕捉复杂形变方面表现出更强的能力，并能够更好地适应患者特异性数据。实验结果验证了ST-NeRP在监测解剖结构变化方面的潜力。

🎯 应用场景

ST-NeRP可应用于多种临床场景，例如肿瘤放疗的自适应计划、疾病进展的监测和预测、以及个性化治疗方案的制定。通过准确捕捉和预测患者在治疗过程中的解剖结构变化，ST-NeRP可以帮助医生更好地评估治疗效果，并及时调整治疗方案，从而提高治疗的有效性和安全性。未来，该技术有望与人工智能辅助诊断系统相结合，实现更智能化的医疗服务。

📄 摘要（原文）

During and after a course of therapy, imaging is routinely used to monitor the disease progression and assess the treatment responses. Despite of its significance, reliably capturing and predicting the spatial-temporal anatomic changes from a sequence of patient-specific image series presents a considerable challenge. Thus, the development of a computational framework becomes highly desirable for a multitude of practical applications. In this context, we propose a strategy of Spatial-Temporal Neural Representation learning with Prior embedding (ST-NeRP) for patient-specific imaging study. Our strategy involves leveraging an Implicit Neural Representation (INR) network to encode the image at the reference time point into a prior embedding. Subsequently, a spatial-temporally continuous deformation function is learned through another INR network. This network is trained using the whole patient-specific image sequence, enabling the prediction of deformation fields at various target time points. The efficacy of the ST-NeRP model is demonstrated through its application to diverse sequential image series, including 4D CT and longitudinal CT datasets within thoracic and abdominal imaging. The proposed ST-NeRP model exhibits substantial potential in enabling the monitoring of anatomical changes within a patient throughout the therapeutic journey.