HiFi-Syn: Hierarchical Granularity Discrimination for High-Fidelity Synthesis of MR Images with Structure Preservation
作者: Ziqi Yu, Botao Zhao, Shengjie Zhang, Xiang Chen, Jianfeng Feng, Tingying Peng, Xiao-Yong Zhang
分类: eess.IV, cs.CV
发布日期: 2023-11-21 (更新: 2024-11-13)
💡 一句话要点
提出层次粒度判别以解决医学图像合成中的结构保留问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 医学图像合成 结构保留 层次粒度判别 脑肿瘤 解剖一致性 深度学习 图像翻译
📋 核心要点
- 现有医学图像合成方法未能有效保留结构信息，导致解剖内容的丢失。
- 本文提出层次粒度判别，通过多层次的语义信息来指导医学图像的合成。
- 在多个数据集上进行的实验表明，本文方法在合成正常和异常结构方面均优于现有技术。
📝 摘要（中文）
合成医学图像并保留其结构信息在医学研究中至关重要，尤其是解剖内容的保留。尽管近期通过实例级信息指导翻译取得了一定进展，但现有方法忽视了结构级表示的空间一致性和内容在翻译过程中的解剖不变性。为了解决这些问题，本文提出了层次粒度判别，利用医学图像中存在的多层次语义信息。该策略采用三层粒度判别：使用脑记忆库进行像素级判别、针对每个脑结构的重加权策略进行结构级判别，以及确保翻译过程中解剖一致性的全局级判别。我们的策略在三个独立数据集（UK Biobank、IXI和BraTS 2018）上的图像翻译性能超越了现有最先进算法，尤其在合成正常结构和处理异常结构（如脑肿瘤）方面表现优异。
🔬 方法详解
问题定义：本文旨在解决医学图像合成中结构信息保留不足的问题。现有方法往往忽视了结构级表示的空间一致性和解剖不变性，导致合成图像的质量下降。
核心思路：提出层次粒度判别，利用医学图像中的多层次语义信息，通过像素级、结构级和全局级的判别来增强合成图像的结构保留能力。
技术框架：整体架构包括三个主要模块：1) 像素级判别模块，利用脑记忆库进行细粒度信息提取；2) 结构级判别模块，针对每个脑结构应用重加权策略以关注难样本；3) 全局级判别模块，确保合成图像的解剖一致性。
关键创新：最重要的创新在于引入了层次粒度判别机制，能够在不同层次上对图像进行有效的结构保留和一致性保证，与现有方法相比，显著提升了合成图像的质量。
关键设计：在设计中，采用了特定的损失函数以平衡不同层次的判别效果，并通过网络结构的优化来提高模型的学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在UK Biobank、IXI和BraTS 2018数据集上的表现均优于现有最先进算法，特别是在合成脑肿瘤等异常结构方面，显示出更高的解剖一致性和结构保留能力，提升幅度达到XX%。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在医学影像学中，可以为缺乏特定MR模态的患者提供替代解决方案，帮助医生进行更准确的诊断和治疗规划。未来，该方法可能在其他医学图像合成领域得到推广，提升医学影像的可用性和准确性。
📄 摘要（原文）
Synthesizing medical images while preserving their structural information is crucial in medical research. In such scenarios, the preservation of anatomical content becomes especially important. Although recent advances have been made by incorporating instance-level information to guide translation, these methods overlook the spatial coherence of structural-level representation and the anatomical invariance of content during translation. To address these issues, we introduce hierarchical granularity discrimination, which exploits various levels of semantic information present in medical images. Our strategy utilizes three levels of discrimination granularity: pixel-level discrimination using a Brain Memory Bank, structure-level discrimination on each brain structure with a re-weighting strategy to focus on hard samples, and global-level discrimination to ensure anatomical consistency during translation. The image translation performance of our strategy has been evaluated on three independent datasets (UK Biobank, IXI, and BraTS 2018), and it has outperformed state-of-the-art algorithms. Particularly, our model excels not only in synthesizing normal structures but also in handling abnormal (pathological) structures, such as brain tumors, despite the variations in contrast observed across different imaging modalities due to their pathological characteristics. The diagnostic value of synthesized MR images containing brain tumors has been evaluated by radiologists. This indicates that our model may offer an alternative solution in scenarios where specific MR modalities of patients are unavailable. Extensive experiments further demonstrate the versatility of our method, providing unique insights into medical image translation.