RT-SRTS: Angle-Agnostic Real-Time Simultaneous 3D Reconstruction and Tumor Segmentation from Single X-Ray Projection

📄 arXiv: 2310.08080v2 📥 PDF

作者: Miao Zhu, Qiming Fu, Bo Liu, Mengxi Zhang, Bojian Li, Xiaoyan Luo, Fugen Zhou

分类: eess.IV, cs.CV

发布日期: 2023-10-12 (更新: 2024-03-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RT-SRTS以解决实时肿瘤分割与三维重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 肿瘤分割 放射治疗 多任务学习 实时处理 医学影像 深度学习

📋 核心要点

  1. 现有方法仅能在固定角度下进行三维重建，无法满足放射治疗中对肿瘤实时定位的需求。
  2. 论文提出的RT-SRTS方法通过多任务学习将三维重建与肿瘤分割集成，支持任意角度的实时处理。
  3. 实验结果表明，RT-SRTS在三维重建和肿瘤分割上均优于三种现有方法，且处理速度达到70毫秒。

📝 摘要（中文）

放射治疗是肿瘤治疗的主要方法之一，但由于呼吸引起的器官运动限制了其准确性。最近，基于单个X射线投影的三维成像受到广泛关注，作为解决此问题的有前景的方法。然而，现有方法仅能重建三维图像，无法直接定位肿瘤，并且仅在固定角度成像下进行验证，无法完全满足放射治疗中的运动控制需求。本研究提出了一种新颖的成像方法RT-SRTS，该方法基于多任务学习（MTL）将三维成像和肿瘤分割集成到一个网络中，能够在任何角度下实时同时进行三维重建和肿瘤分割。该方法在十五个患者案例上进行了评估，并与三种最先进的方法进行了比较，结果显示其不仅提供了优越的三维重建效果，还展现了良好的肿瘤分割结果。该方法的同时重建和分割可在约70毫秒内完成，显著快于实时肿瘤跟踪所需的时间阈值。

🔬 方法详解

问题定义：本论文旨在解决放射治疗中由于器官运动导致的肿瘤定位不准确的问题。现有方法仅能在固定角度下进行三维重建，无法实时跟踪肿瘤位置，限制了其临床应用。

核心思路：论文提出的RT-SRTS方法通过多任务学习（MTL）将三维重建与肿瘤分割集成到一个网络中，能够在任意角度下实时处理X射线投影数据，从而提高肿瘤定位的准确性和实时性。

技术框架：该方法的整体架构包括多个模块，其中主要包括三维重建模块和肿瘤分割模块。此外，论文还引入了注意力增强校准器（AEC）和不确定区域细化（URE）模块，以提升特征提取和分割精度。

关键创新：最重要的技术创新点在于将三维重建与肿瘤分割任务结合在一个统一的网络中，突破了现有方法在固定角度下的局限性，实现了任意角度的实时处理。

关键设计：在网络设计中，采用了特定的损失函数来平衡重建与分割任务的训练，同时在AEC和URE模块中引入了新的特征提取策略，以提高分割的准确性和鲁棒性。具体的参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果显示，RT-SRTS在三维重建和肿瘤分割方面均优于三种最先进的方法，处理速度达到约70毫秒，显著快于实时肿瘤跟踪所需的时间阈值，展示了该方法在临床应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括放射治疗、医学影像分析和肿瘤监测等。通过实现实时的三维重建与肿瘤分割，RT-SRTS能够显著提升放射治疗的精确度，减少患者的辐射暴露，并为临床提供更为有效的决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Radiotherapy is one of the primary treatment methods for tumors, but the organ movement caused by respiration limits its accuracy. Recently, 3D imaging from a single X-ray projection has received extensive attention as a promising approach to address this issue. However, current methods can only reconstruct 3D images without directly locating the tumor and are only validated for fixed-angle imaging, which fails to fully meet the requirements of motion control in radiotherapy. In this study, a novel imaging method RT-SRTS is proposed which integrates 3D imaging and tumor segmentation into one network based on multi-task learning (MTL) and achieves real-time simultaneous 3D reconstruction and tumor segmentation from a single X-ray projection at any angle. Furthermore, the attention enhanced calibrator (AEC) and uncertain-region elaboration (URE) modules have been proposed to aid feature extraction and improve segmentation accuracy. The proposed method was evaluated on fifteen patient cases and compared with three state-of-the-art methods. It not only delivers superior 3D reconstruction but also demonstrates commendable tumor segmentation results. Simultaneous reconstruction and segmentation can be completed in approximately 70 ms, significantly faster than the required time threshold for real-time tumor tracking. The efficacies of both AEC and URE have also been validated in ablation studies. The code of work is available at https://github.com/ZywooSimple/RT-SRTS.