PPORLD-EDNetLDCT: A Proximal Policy Optimization-Based Reinforcement Learning Framework for Adaptive Low-Dose CT Denoising

📄 arXiv: 2509.03185v2 📥 PDF

作者: Debopom Sutradhar, Ripon Kumar Debnath, Mohaimenul Azam Khan Raiaan, Yan Zhang, Reem E. Mohamed, Sami Azam

分类: cs.CV

发布日期: 2025-09-03 (更新: 2025-09-22)

备注: 20 pages, 5 figures, 5 tables

💡 一句话要点

提出基于近端策略优化的强化学习框架PPORLD-EDNetLDCT，用于自适应低剂量CT降噪。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低剂量CT降噪 强化学习 近端策略优化 编码器-解码器网络 医学影像 图像重建 自适应降噪

📋 核心要点

  1. 传统LDCT降噪方法难以在降低噪声的同时保持图像质量，面临迭代优化和监督学习的局限性。
  2. 论文提出PPORLD-EDNetLDCT，利用强化学习动态优化降噪策略，通过图像质量反馈进行实时调整。
  3. 实验表明，该方法在多个数据集上优于传统和深度学习方法，并在COVID-19分类任务中提升了准确率。

📝 摘要（中文）

低剂量计算机断层扫描(LDCT)对于最小化辐射暴露至关重要，但通常会导致噪声增加和图像质量下降。传统的降噪方法，如迭代优化或监督学习，通常无法保持图像质量。为了解决这些挑战，我们提出了一种基于强化学习(RL)的方法PPORLD-EDNetLDCT，该方法采用编码器-解码器结构用于LDCT降噪。我们的方法利用一种动态的基于RL的方法，其中使用先进的后验策略优化(PPO)算法，基于图像质量反馈实时优化降噪策略，并通过自定义的gym环境进行训练。在低剂量CT图像和投影数据集上的实验结果表明，所提出的PPORLD-EDNetLDCT模型优于传统的降噪技术和其他基于深度学习的方法，实现了41.87的峰值信噪比、0.9814的结构相似性指数以及0.00236的均方根误差。此外，在NIH-AAPM-Mayo Clinic低剂量CT挑战赛数据集上，我们的方法实现了41.52的PSNR、0.9723的SSIM和0.0051的RMSE。此外，我们通过在COVID-19 LDCT数据集中进行分类任务验证了降噪质量，我们的方法处理后的图像将分类精度提高到94%，与没有基于RL的降噪相比，准确率提高了4%。

🔬 方法详解

问题定义：低剂量CT成像(LDCT)旨在减少患者的辐射暴露，但不可避免地会引入噪声，降低图像质量，影响诊断准确性。现有的降噪方法，如迭代优化算法和监督学习方法，在处理LDCT图像时，往往难以在有效抑制噪声的同时，保持图像的细节和结构信息，导致图像模糊或过度平滑。因此，如何在低剂量条件下获得高质量的CT图像是一个重要的挑战。

核心思路：论文的核心思路是利用强化学习(RL)的动态决策能力，自适应地调整降噪策略。通过构建一个RL环境，将降噪过程视为一个智能体与环境交互的过程，智能体根据当前图像的质量反馈，学习最优的降噪策略。这种方法能够根据不同的图像特征和噪声水平，动态地调整降噪参数，从而更好地平衡噪声抑制和图像细节保持。

技术框架：PPORLD-EDNetLDCT框架主要包含以下几个模块：1) Encoder-Decoder网络(EDNet)：作为降噪器，负责对LDCT图像进行降噪处理。2) 强化学习智能体(PPO Agent)：负责根据图像质量反馈，学习最优的降噪策略，控制EDNet的参数。3) Gym环境：模拟LDCT降噪过程，提供图像质量反馈(如PSNR, SSIM, RMSE)作为奖励信号。整个流程是：LDCT图像输入EDNet进行降噪，然后计算降噪后图像的质量指标，这些指标作为奖励信号反馈给PPO Agent，PPO Agent根据奖励信号更新策略，调整EDNet的参数，从而优化降噪效果。

关键创新：该方法的关键创新在于将强化学习与深度学习相结合，实现自适应的LDCT降噪。传统的降噪方法通常采用固定的参数或预训练的模型，难以适应不同患者和扫描条件下的噪声变化。而PPORLD-EDNetLDCT通过强化学习，能够根据图像质量反馈动态调整降噪策略，从而更好地适应不同的噪声水平和图像特征。此外，使用PPO算法进行策略优化，可以提高训练的稳定性和效率。

关键设计：EDNet采用Encoder-Decoder结构，用于提取图像特征和重建高质量图像。PPO Agent使用近端策略优化算法，通过最大化累积奖励来学习最优策略。Gym环境根据降噪后图像的PSNR、SSIM和RMSE等指标计算奖励信号，引导智能体学习高质量的降噪策略。具体的参数设置和网络结构细节在论文中有详细描述，例如PPO的学习率、折扣因子，以及EDNet的网络层数和滤波器大小等。

📊 实验亮点

实验结果表明，PPORLD-EDNetLDCT在低剂量CT图像降噪方面取得了显著的性能提升。在低剂量CT图像和投影数据集上，该方法实现了41.87的PSNR、0.9814的SSIM和0.00236的RMSE，优于传统的降噪技术和其他深度学习方法。在NIH-AAPM-Mayo Clinic低剂量CT挑战赛数据集上，该方法也取得了优异的成绩，PSNR达到41.52，SSIM达到0.9723，RMSE达到0.0051。此外，在COVID-19 LDCT数据集上的分类任务中，该方法将分类精度提高到94%，比没有基于RL的降噪方法提高了4%。

🎯 应用场景

该研究成果可应用于医学影像领域，特别是低剂量CT扫描，以提高图像质量，辅助医生进行更准确的诊断。通过降低辐射剂量，可以减少患者的健康风险。此外，该方法还可以推广到其他图像降噪领域，如X射线成像、核磁共振成像等，具有广泛的应用前景和实际价值。未来，可以进一步研究如何将该方法应用于三维CT图像降噪，以及如何与其他医学影像分析技术相结合，提高诊断效率和准确性。

📄 摘要（原文）

Low-dose computed tomography (LDCT) is critical for minimizing radiation exposure, but it often leads to increased noise and reduced image quality. Traditional denoising methods, such as iterative optimization or supervised learning, often fail to preserve image quality. To address these challenges, we introduce PPORLD-EDNetLDCT, a reinforcement learning-based (RL) approach with Encoder-Decoder for LDCT. Our method utilizes a dynamic RL-based approach in which an advanced posterior policy optimization (PPO) algorithm is used to optimize denoising policies in real time, based on image quality feedback, trained via a custom gym environment. The experimental results on the low dose CT image and projection dataset demonstrate that the proposed PPORLD-EDNetLDCT model outperforms traditional denoising techniques and other DL-based methods, achieving a peak signal-to-noise ratio of 41.87, a structural similarity index measure of 0.9814 and a root mean squared error of 0.00236. Moreover, in NIH-AAPM-Mayo Clinic Low Dose CT Challenge dataset our method achieved a PSNR of 41.52, SSIM of 0.9723 and RMSE of 0.0051. Furthermore, we validated the quality of denoising using a classification task in the COVID-19 LDCT dataset, where the images processed by our method improved the classification accuracy to 94%, achieving 4% higher accuracy compared to denoising without RL-based denoising.