UDCR: Unsupervised Aortic DSA/CTA Rigid Registration Using Deep Reinforcement Learning and Overlap Degree Calculation

📄 arXiv: 2403.05753v1 📥 PDF

作者: Wentao Liu, Bowen Liang, Weijin Xu, Tong Tian, Qingsheng Lu, Xipeng Pan, Haoyuan Li, Siyu Tian, Huihua Yang, Ruisheng Su

分类: eess.IV, cs.CV

发布日期: 2024-03-09

💡 一句话要点

提出UDCR以解决无监督主动脉DSA/CTA刚性配准问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督学习 图像配准 深度强化学习 主动脉DSA 计算机断层血管造影 医疗影像 跨模态配准

📋 核心要点

  1. 现有的2D/3D图像配准方法依赖于手动标注和特征点提取，难以适应主动脉DSA与CTA的跨模态配准需求。
  2. 本文提出UDCR方法，通过深度强化学习实现无监督的主动脉DSA/CTA刚性配准，利用重叠度计算作为奖励函数。
  3. 实验结果显示，UDCR在配准精度上表现优异，平移和旋转的平均绝对误差分别为2.85 mm和4.35°，具有良好的临床应用前景。

📝 摘要（中文）

主动脉数字减影血管造影（DSA）与计算机断层血管造影（CTA）的刚性配准能够为主动脉夹层和主动脉动脉瘤等疾病的介入手术提供三维解剖细节，具有重要的临床研究价值。然而，现有的2D/3D图像配准方法依赖于手动标注或合成数据，以及特征点提取，这不适用于主动脉DSA/CTA的跨模态配准。本文提出了一种基于深度强化学习的无监督方法UDCR，利用DSA和CTA的成像原理和特性，构建了基于空间变换的跨维度配准环境。我们提出了一种重叠度计算奖励函数，旨在评估分割图与DSA图像之间的配准准确性。实验结果表明，UDCR在平移和旋转方面分别达到了2.85 mm和4.35°的平均绝对误差，显示出显著的临床应用潜力。

🔬 方法详解

问题定义：本文旨在解决主动脉DSA与CTA图像之间的刚性配准问题。现有方法依赖于手动标注和特征点提取，无法有效处理跨模态配准的挑战。

核心思路：UDCR方法基于深度强化学习，采用无监督学习策略，通过重叠度计算奖励函数来优化配准效果，避免了对人工标注的依赖。

技术框架：UDCR的整体架构包括数据预处理、深度强化学习模型训练和配准结果评估三个主要阶段。首先，构建跨维度配准环境，然后通过在线学习优化空间变换参数。

关键创新：UDCR的主要创新在于引入重叠度计算作为奖励函数，能够有效评估分割图与DSA图像的配准准确性，与传统方法相比具有更高的灵活性和适应性。

关键设计：在模型设计中，UDCR允许加载预训练模型进行直接配准，或通过在线学习寻求最优空间变换参数，提升了配准的效率和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

UDCR在实验中表现出色，平移和旋转的平均绝对误差分别为2.85 mm和4.35°，相较于现有方法有显著提升。这一结果表明UDCR在无监督配准任务中的有效性和潜在的临床应用价值。

🎯 应用场景

该研究的潜在应用领域包括介入手术中的图像引导、主动脉疾病的诊断与治疗等。通过提供高精度的图像配准，UDCR能够帮助医生更好地理解患者的血管解剖结构，从而提高手术的安全性和有效性。未来，该方法有望推广至其他医学图像配准任务中，进一步提升临床应用价值。

📄 摘要（原文）

The rigid registration of aortic Digital Subtraction Angiography (DSA) and Computed Tomography Angiography (CTA) can provide 3D anatomical details of the vasculature for the interventional surgical treatment of conditions such as aortic dissection and aortic aneurysms, holding significant value for clinical research. However, the current methods for 2D/3D image registration are dependent on manual annotations or synthetic data, as well as the extraction of landmarks, which is not suitable for cross-modal registration of aortic DSA/CTA. In this paper, we propose an unsupervised method, UDCR, for aortic DSA/CTA rigid registration based on deep reinforcement learning. Leveraging the imaging principles and characteristics of DSA and CTA, we have constructed a cross-dimensional registration environment based on spatial transformations. Specifically, we propose an overlap degree calculation reward function that measures the intensity difference between the foreground and background, aimed at assessing the accuracy of registration between segmentation maps and DSA images. This method is highly flexible, allowing for the loading of pre-trained models to perform registration directly or to seek the optimal spatial transformation parameters through online learning. We manually annotated 61 pairs of aortic DSA/CTA for algorithm evaluation. The results indicate that the proposed UDCR achieved a Mean Absolute Error (MAE) of 2.85 mm in translation and 4.35° in rotation, showing significant potential for clinical applications.