PPORLD-EDNetLDCT: A Proximal Policy Optimization-Based Reinforcement Learning Framework for Adaptive Low-Dose CT Denoising

📄 arXiv: 2509.03185v2 📥 PDF

作者: Debopom Sutradhar, Ripon Kumar Debnath, Mohaimenul Azam Khan Raiaan, Yan Zhang, Reem E. Mohamed, Sami Azam

分类: cs.CV

发布日期: 2025-09-03 (更新: 2025-09-22)

备注: 20 pages, 5 figures, 5 tables

💡 一句话要点

提出基于近端策略优化的强化学习框架PPORLD-EDNetLDCT，用于自适应低剂量CT降噪。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低剂量CT 图像降噪 强化学习 近端策略优化 编码器-解码器 医学影像 自适应降噪

📋 核心要点

  1. 传统LDCT降噪方法难以在降低噪声的同时保持图像质量，面临迭代优化和监督学习的局限性。
  2. 论文提出PPORLD-EDNetLDCT，利用强化学习动态优化降噪策略，通过PPO算法和自定义gym环境实现。
  3. 实验表明，该方法在多个数据集上优于传统和深度学习方法，并在COVID-19分类任务中提高了精度。

📝 摘要（中文）

低剂量计算机断层扫描(LDCT)对于最小化辐射暴露至关重要，但通常会导致噪声增加和图像质量下降。传统的降噪方法，如迭代优化或监督学习，通常无法保持图像质量。为了解决这些挑战，我们提出了一种基于强化学习(RL)的方法PPORLD-EDNetLDCT，该方法采用编码器-解码器结构用于LDCT降噪。我们的方法利用一种动态的基于RL的方法，其中使用先进的后验策略优化(PPO)算法，基于图像质量反馈实时优化降噪策略，并通过自定义的gym环境进行训练。在低剂量CT图像和投影数据集上的实验结果表明，所提出的PPORLD-EDNetLDCT模型优于传统的降噪技术和其他基于深度学习的方法，实现了41.87的峰值信噪比、0.9814的结构相似性指数以及0.00236的均方根误差。此外，在NIH-AAPM-Mayo Clinic低剂量CT挑战赛数据集上，我们的方法实现了41.52的PSNR、0.9723的SSIM和0.0051的RMSE。此外，我们通过COVID-19 LDCT数据集中的分类任务验证了降噪质量，我们的方法处理后的图像将分类精度提高到94%，与没有基于RL的降噪相比，提高了4%的精度。

🔬 方法详解

问题定义：低剂量CT成像（LDCT）旨在减少患者的辐射暴露，但不可避免地会引入噪声，降低图像质量，影响诊断准确性。现有的降噪方法，如迭代优化和监督学习，在处理LDCT图像时，往往难以在有效抑制噪声的同时，保持图像的细节和结构信息，导致图像模糊或过度平滑。

核心思路：论文的核心思路是利用强化学习（RL）的动态决策能力，自适应地优化LDCT图像的降噪策略。通过将降噪过程建模为一个马尔可夫决策过程（MDP），智能体（agent）可以根据当前图像的质量反馈，实时调整降噪参数，从而实现最优的降噪效果。这种方法避免了传统方法中固定的降噪参数设置，能够更好地适应不同LDCT图像的噪声特性。

技术框架：PPORLD-EDNetLDCT框架主要包含以下几个模块：1) 编码器-解码器网络(EDNet)：作为降噪器，负责对LDCT图像进行降噪处理。2) 强化学习智能体(PPO Agent)：使用近端策略优化（PPO）算法，根据图像质量反馈学习最优的降噪策略。3) 自定义Gym环境：模拟LDCT降噪过程，提供图像质量反馈（奖励信号）给智能体。整体流程是：LDCT图像输入EDNet进行降噪，然后计算降噪后图像的质量指标（如PSNR、SSIM），作为奖励信号反馈给PPO Agent，Agent根据奖励信号调整降噪策略，指导EDNet的参数更新。

关键创新：该方法最重要的创新点在于将强化学习引入LDCT降噪领域，实现了自适应的降噪策略优化。与传统的降噪方法相比，PPORLD-EDNetLDCT能够根据图像的实际情况动态调整降噪参数，从而更好地平衡噪声抑制和细节保持。此外，使用PPO算法保证了训练的稳定性和收敛性。

关键设计：EDNet采用标准的编码器-解码器结构，可以使用不同的卷积神经网络作为骨干网络。PPO Agent使用Actor-Critic网络结构，Actor网络负责生成降噪策略，Critic网络负责评估策略的价值。奖励函数的设计至关重要，通常结合PSNR、SSIM等图像质量指标。训练过程中，需要仔细调整PPO算法的超参数，如学习率、折扣因子、裁剪参数等，以保证训练的稳定性和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PPORLD-EDNetLDCT模型在低剂量CT图像降噪方面取得了显著的性能提升。在低剂量CT图像和投影数据集上，该方法实现了41.87的峰值信噪比（PSNR）、0.9814的结构相似性指数（SSIM）以及0.00236的均方根误差（RMSE），优于传统的降噪技术和其他基于深度学习的方法。在NIH-AAPM-Mayo Clinic低剂量CT挑战赛数据集上，也取得了41.52的PSNR、0.9723的SSIM和0.0051的RMSE。此外，在COVID-19 LDCT数据集的分类任务中，该方法将分类精度提高了4%。

🎯 应用场景

该研究成果可广泛应用于医学影像领域，尤其是在需要降低辐射剂量的CT扫描中。通过自适应降噪，可以提高低剂量CT图像的质量，辅助医生进行更准确的诊断，减少误诊率。此外，该方法还可以应用于其他类型的医学图像降噪，具有广阔的应用前景。未来，可以进一步探索将该方法应用于三维CT图像降噪，以及与其他图像处理技术的结合。

📄 摘要（原文）

Low-dose computed tomography (LDCT) is critical for minimizing radiation exposure, but it often leads to increased noise and reduced image quality. Traditional denoising methods, such as iterative optimization or supervised learning, often fail to preserve image quality. To address these challenges, we introduce PPORLD-EDNetLDCT, a reinforcement learning-based (RL) approach with Encoder-Decoder for LDCT. Our method utilizes a dynamic RL-based approach in which an advanced posterior policy optimization (PPO) algorithm is used to optimize denoising policies in real time, based on image quality feedback, trained via a custom gym environment. The experimental results on the low dose CT image and projection dataset demonstrate that the proposed PPORLD-EDNetLDCT model outperforms traditional denoising techniques and other DL-based methods, achieving a peak signal-to-noise ratio of 41.87, a structural similarity index measure of 0.9814 and a root mean squared error of 0.00236. Moreover, in NIH-AAPM-Mayo Clinic Low Dose CT Challenge dataset our method achieved a PSNR of 41.52, SSIM of 0.9723 and RMSE of 0.0051. Furthermore, we validated the quality of denoising using a classification task in the COVID-19 LDCT dataset, where the images processed by our method improved the classification accuracy to 94%, achieving 4% higher accuracy compared to denoising without RL-based denoising.