RSTAR4D: Rotational Streak Artifact Reduction in 4D CBCT using a Separable 4D CNN

📄 arXiv: 2403.16361v4 📥 PDF

作者: Ziheng Deng, Hua Chen, Yongzheng Zhou, Haibo Hu, Zhiyong Xu, Jiayuan Sun, Tianling Lyu, Yan Xi, Yang Chen, Jun Zhao

分类: eess.IV, cs.CV

发布日期: 2024-03-25 (更新: 2024-09-29)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RSTAR4D-Net以解决4D CBCT中的旋转条纹伪影问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 4D CBCT 条纹伪影 深度学习 可分离卷积 医学影像 图像重建 放射治疗

📋 核心要点

  1. 现有的4D CBCT图像重建方法大多基于2D网络，无法有效处理图像中的旋转条纹伪影问题。
  2. 本文提出的RSTAR4D-Net模型通过整合空间和时间信息，专门设计用于减少4D CBCT图像中的旋转条纹伪影。
  3. 实验结果表明，RSTAR4D-Net在处理条纹伪影方面表现优越，显著提升了图像质量和重建效果。

📝 摘要（中文）

四维锥束计算机断层扫描（4D CBCT）能够提供呼吸分辨图像，适用于图像引导放射治疗。然而，随着原始投影数据被分为多个呼吸相位，锥束投影变得稀疏，重建的4D CBCT图像会受到严重的条纹伪影影响。尽管已有多种基于深度学习的方法被提出，但大多数算法采用2D网络模型作为骨干，忽视了4D CBCT图像内在的结构先验。本文首先探讨了4D CBCT图像中条纹伪影的起源和表现，提出了一种新颖的4D神经网络模型RSTAR4D-Net，旨在通过整合4D CBCT图像中的空间和时间信息来减少旋转条纹伪影。我们克服了4D神经网络的计算和训练难题，采用高效的4D卷积实现，能够一次性处理整个4D图像，并提出了与可分离4D卷积相关的Tetris训练策略，以有效利用有限的4D训练样本。大量实验验证了我们方法的有效性，RSTAR4D-Net在性能上优于其他方法。

🔬 方法详解

问题定义：本文旨在解决4D CBCT图像中的旋转条纹伪影问题。现有方法多采用2D网络，未能充分利用4D图像的空间和时间结构，导致伪影严重影响图像质量。

核心思路：RSTAR4D-Net模型通过结合空间和时间信息，设计了专门的4D卷积结构，以有效减少条纹伪影。该设计考虑了伪影的旋转特性，使得模型能够更好地捕捉呼吸运动的动态变化。

技术框架：RSTAR4D-Net的整体架构包括输入层、可分离4D卷积层、特征提取模块和输出层。模型通过一次性处理整个4D图像，减少了计算成本，并提高了训练效率。

关键创新：本研究的主要创新在于提出了可分离4D卷积的高效实现方式，克服了传统4D卷积在计算和训练上的困难，显著提升了模型的性能。

关键设计：模型采用了Tetris训练策略，以有效利用有限的4D训练样本，并在损失函数中引入了针对条纹伪影的特定约束，确保了训练过程的稳定性和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RSTAR4D-Net在条纹伪影减少方面表现优异，与现有方法相比，图像质量提升幅度达到XX%（具体数据未知），在多个评估指标上均优于基线模型，验证了其有效性和实用性。

🎯 应用场景

该研究在医学影像领域具有重要应用潜力，尤其是在图像引导放射治疗中。通过减少4D CBCT图像中的伪影，能够提高治疗的准确性和安全性，进而改善患者的治疗效果。此外，RSTAR4D-Net的设计理念也可推广至其他需要处理动态影像的领域。

📄 摘要（原文）

Four-dimensional cone-beam computed tomography (4D CBCT) provides respiration-resolved images and can be used for image-guided radiation therapy. However, the ability to reveal respiratory motion comes at the cost of image artifacts. As raw projection data are sorted into multiple respiratory phases, the cone-beam projections become much sparser and the reconstructed 4D CBCT images will be covered by severe streak artifacts. Although several deep learning-based methods have been proposed to address this issue, most algorithms employ 2D network models as backbones, neglecting the intrinsic structural priors within 4D CBCT images. In this paper, we first explore the origin and appearance of streak artifacts in 4D CBCT images. We find that streak artifacts exhibit a unique rotational motion along with the patient's respiration, distinguishable from diaphragm-driven respiratory motion in the spatiotemporal domain. Therefore, we propose a novel 4D neural network model, RSTAR4D-Net, designed to address Rotational STreak Artifact Reduction by integrating the spatial and temporal information within 4D CBCT images. Specifically, we overcome the computational and training difficulties of a 4D neural network. The specially designed model adopts an efficient implementation of 4D convolutions to reduce computational costs and thus can process the whole 4D image in one pass. Additionally, a Tetris training strategy pertinent to the separable 4D convolutions is proposed to effectively train the model using limited 4D training samples. Extensive experiments substantiate the effectiveness of our proposed method, and the RSTAR4D-Net shows superior performance compared to other methods. The source code and dynamic demos are available at https://github.com/ivy9092111111/RSTAR.