SinoSynth: A Physics-based Domain Randomization Approach for Generalizable CBCT Image Enhancement

📄 arXiv: 2409.18355v1 📥 PDF

作者: Yunkui Pang, Yilin Liu, Xu Chen, Pew-Thian Yap, Jun Lian

分类: cs.CV

发布日期: 2024-09-27

备注: MICCAI 2024

💡 一句话要点

SinoSynth：基于物理的域随机化方法，用于可泛化的CBCT图像增强

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: CBCT图像增强 域随机化 物理建模 生成对抗网络 医学影像 图像重建 伪影去除

📋 核心要点

  1. CBCT图像易受噪声和伪影影响，现有图像转换方法泛化性不足，难以覆盖所有成像条件。
  2. SinoSynth提出一种基于物理的退化模型，模拟CBCT伪影，从CT图像合成多样化的CBCT图像。
  3. 实验表明，基于SinoSynth合成数据训练的生成网络，在多机构数据集上优于真实数据训练的网络。

📝 摘要（中文）

锥束计算机断层扫描(CBCT)在医学领域有着广泛的应用。确保CBCT扫描图像的高质量对于准确的诊断和治疗至关重要。然而，CBCT图像对噪声和伪影的敏感性降低了它们的实用性和可靠性。现有的方法通常通过图像到图像的转换来解决CBCT伪影，但这些方法受到训练数据中存在的伪影类型的限制，可能无法涵盖因成像协议变化而产生的全部CBCT退化。收集额外的数据以涵盖所有可能的场景通常具有挑战性。为了解决这个问题，我们提出了一种基于物理的退化模型SinoSynth，该模型模拟各种CBCT特定的伪影，从而从高质量的CT图像生成各种合成CBCT图像，而无需预先对齐的数据。通过大量的实验，我们证明了在我们的合成数据上训练的几种不同的生成网络在异构的多机构数据集上取得了显著的结果，甚至优于在真实数据上训练的相同网络。我们进一步表明，我们的退化模型方便地提供了一种在条件生成模型中强制执行解剖约束的方法，从而产生高质量和结构保持的合成CT图像。

🔬 方法详解

问题定义：CBCT图像质量受噪声和伪影影响，现有基于图像转换的方法依赖于训练数据中的伪影类型，难以泛化到不同的成像协议和设备。收集涵盖所有可能成像条件的真实CBCT数据成本高昂且不切实际。

核心思路：利用CBCT成像的物理原理，构建一个可控的退化模型，该模型能够从高质量的CT图像中合成具有各种伪影的CBCT图像。通过在这些合成数据上训练图像增强模型，提高模型在真实CBCT图像上的泛化能力。

技术框架：SinoSynth包含一个基于物理的CBCT图像退化模型。该模型以高质量CT图像作为输入，通过模拟X射线衰减、几何失真、噪声等过程，生成带有各种伪影的合成CBCT图像。然后，使用这些合成CBCT图像和对应的CT图像训练生成对抗网络（GAN）或其他图像增强模型。训练好的模型可以用于增强真实的CBCT图像。

关键创新：SinoSynth的核心创新在于其基于物理的退化模型，该模型能够模拟各种CBCT成像伪影，从而生成多样化的训练数据。与直接使用真实CBCT数据训练相比，SinoSynth能够更好地控制训练数据的分布，并提高模型的泛化能力。此外，该模型还提供了一种在条件生成模型中强制执行解剖约束的方法。

关键设计：退化模型的设计基于CBCT成像的物理过程，包括X射线衰减模型（考虑了不同组织的衰减系数）、几何失真模型（模拟锥束几何引起的失真）和噪声模型（模拟电子噪声和泊松噪声）。在训练GAN时，可以使用对抗损失、L1损失和结构相似性损失（SSIM）等多种损失函数来提高图像质量。此外，还可以通过在损失函数中加入解剖约束项来保证生成图像的解剖结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在SinoSynth合成数据上训练的生成网络，在异构的多机构数据集上取得了显著的结果，甚至优于在真实数据上训练的相同网络。具体性能提升数据未知，但强调了在异构数据集上的优越性，表明了良好的泛化能力。

🎯 应用场景

该研究成果可应用于医学影像领域，提高CBCT图像的质量，从而辅助医生进行更准确的诊断和治疗计划制定。通过合成数据训练的图像增强模型可以部署到临床CBCT设备上，实时提高图像质量。此外，该方法还可以用于生成具有特定伪影的CBCT图像，用于评估和比较不同的图像重建算法。

📄 摘要（原文）

Cone Beam Computed Tomography (CBCT) finds diverse applications in medicine. Ensuring high image quality in CBCT scans is essential for accurate diagnosis and treatment delivery. Yet, the susceptibility of CBCT images to noise and artifacts undermines both their usefulness and reliability. Existing methods typically address CBCT artifacts through image-to-image translation approaches. These methods, however, are limited by the artifact types present in the training data, which may not cover the complete spectrum of CBCT degradations stemming from variations in imaging protocols. Gathering additional data to encompass all possible scenarios can often pose a challenge. To address this, we present SinoSynth, a physics-based degradation model that simulates various CBCT-specific artifacts to generate a diverse set of synthetic CBCT images from high-quality CT images without requiring pre-aligned data. Through extensive experiments, we demonstrate that several different generative networks trained on our synthesized data achieve remarkable results on heterogeneous multi-institutional datasets, outperforming even the same networks trained on actual data. We further show that our degradation model conveniently provides an avenue to enforce anatomical constraints in conditional generative models, yielding high-quality and structure-preserving synthetic CT images.