Modality-Agnostic Structural Image Representation Learning for Deformable Multi-Modality Medical Image Registration

📄 arXiv: 2402.18933v2 📥 PDF

作者: Tony C. W. Mok, Zi Li, Yunhao Bai, Jianpeng Zhang, Wei Liu, Yan-Jie Zhou, Ke Yan, Dakai Jin, Yu Shi, Xiaoli Yin, Le Lu, Ling Zhang

分类: cs.CV

发布日期: 2024-02-29 (更新: 2024-04-01)

备注: Accepted by CVPR2024

💡 一句话要点

提出模态无关的结构图像表示学习以解决多模态医学图像配准问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态配准 医学图像分析 深度学习 结构表示 对比学习 解剖对应关系 图像引导放疗

📋 核心要点

  1. 现有的多模态图像配准方法在处理复杂解剖结构时存在区分性不足和对局部噪声敏感的问题。
  2. 本文提出了一种模态无关的结构表示学习方法，通过深度邻域自相似性和解剖感知对比学习来提升图像表示的区分性。
  3. 实验结果显示，该方法在多相CT、腹部MR-CT和脑部MR配准中表现优越，提升了配准的准确性和可靠性。

📝 摘要（中文）

在医学图像分析和图像引导放疗中，建立不同成像模态之间的密集解剖对应关系是一项基础而具有挑战性的任务。现有的多模态图像配准算法依赖于统计基础的相似性度量或局部结构图像表示，但前者对局部噪声敏感，后者在处理复杂解剖结构时缺乏足够的区分性，导致在不同模态扫描中确定解剖对应关系时出现歧义。本文提出了一种模态无关的结构表示学习方法，利用深度邻域自相似性（DNS）和解剖感知对比学习，学习具有区分性和对比不变性的深度结构图像表示（DSIR），无需解剖划分或预对齐的训练图像。我们在多相CT、腹部MR-CT和脑部MR T1w-T2w配准上评估了该方法，结果表明其在区分性和准确性方面优于传统的局部结构表示和统计基础的相似性度量。

🔬 方法详解

问题定义：本文旨在解决多模态医学图像配准中不同成像模态之间的解剖对应关系建立问题。现有方法在处理复杂解剖结构时存在区分性不足和对局部噪声敏感的问题，导致配准效果不佳。

核心思路：论文提出了一种模态无关的结构表示学习方法，利用深度邻域自相似性（DNS）和解剖感知对比学习，旨在学习具有区分性和对比不变性的深度结构图像表示（DSIR），从而提高配准的准确性和可靠性。

技术框架：整体框架包括数据预处理、深度邻域自相似性计算、对比学习模块和最终的图像配准步骤。通过这些模块的协同工作，实现了对不同模态图像的有效配准。

关键创新：最重要的技术创新点在于提出了模态无关的结构表示学习方法，能够在没有解剖划分或预对齐训练图像的情况下，学习到有效的图像表示。这一方法与传统的统计基础相似性度量和局部结构表示方法有本质区别。

关键设计：在技术细节上，采用了特定的损失函数以优化对比学习过程，并设计了适应不同模态的网络结构，以确保学习到的图像表示具有良好的区分性和对比不变性。具体的参数设置和网络架构在实验中进行了详细验证。

📊 实验亮点

实验结果表明，所提出的方法在多相CT、腹部MR-CT和脑部MR T1w-T2w配准任务中，较传统的局部结构表示和统计基础相似性度量在区分性和准确性上有显著提升，具体性能数据未提供，但整体效果优于现有方法。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在医学图像分析、图像引导放疗和其他需要多模态图像配准的领域。通过提高配准的准确性和可靠性，能够为临床决策提供更为精确的支持，进而改善患者的治疗效果。未来，该方法还可能扩展到其他领域，如计算机视觉和机器人导航等。

📄 摘要（原文）

Establishing dense anatomical correspondence across distinct imaging modalities is a foundational yet challenging procedure for numerous medical image analysis studies and image-guided radiotherapy. Existing multi-modality image registration algorithms rely on statistical-based similarity measures or local structural image representations. However, the former is sensitive to locally varying noise, while the latter is not discriminative enough to cope with complex anatomical structures in multimodal scans, causing ambiguity in determining the anatomical correspondence across scans with different modalities. In this paper, we propose a modality-agnostic structural representation learning method, which leverages Deep Neighbourhood Self-similarity (DNS) and anatomy-aware contrastive learning to learn discriminative and contrast-invariance deep structural image representations (DSIR) without the need for anatomical delineations or pre-aligned training images. We evaluate our method on multiphase CT, abdomen MR-CT, and brain MR T1w-T2w registration. Comprehensive results demonstrate that our method is superior to the conventional local structural representation and statistical-based similarity measures in terms of discriminability and accuracy.