Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis

📄 arXiv: 2606.13341 📥 PDF

作者: Gabriel Steele, Alzahra Altalib, Alessandro Perelli

分类: cs.CV, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出双域等变生成对抗网络以解决多模态CT-PET合成问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成对抗网络 多模态合成 CT-PET图像 几何一致性 双域学习 医学影像处理 数据增强

📋 核心要点

  1. 现有的GAN方法主要在空间域中操作，忽略了几何一致性，导致合成图像的结构保真度不足。
  2. DDE-GAN通过在空间和频率域中联合学习，捕捉解剖和光谱信息，同时引入旋转等变性以提高解剖准确性。
  3. 在HECKTOR 2022 CT-PET数据集上的实验结果显示，DDE-GAN在合成质量上优于基线模型，提升了多模态图像合成的准确性和鲁棒性。

📝 摘要（中文）

本文提出了一种双域等变生成对抗网络（DDE-GAN），用于多模态CT-PET图像合成。传统的生成对抗网络（GAN）方法通常仅在空间域中操作，忽视几何一致性，导致结构保真度有限。DDE-GAN通过同时在空间和频率（傅里叶）域中学习，捕捉互补的解剖和光谱信息。此外，将CT和PET测量的旋转等变性嵌入生成器和判别器的损失中，以确保在旋转下的一致响应，从而提高解剖准确性。通过分层的双域训练策略，强制执行域内和域间一致性。评估结果表明，DDE-GAN在HECKTOR 2022 CT-PET数据集上相较于基线模型实现了更优的合成质量，展示了双域学习与几何等变性结合的优势，显著提升了多模态图像合成的准确性和鲁棒性。

🔬 方法详解

问题定义：本文旨在解决多模态CT-PET图像合成中的结构保真度不足问题。现有方法多在空间域中操作，未能有效考虑几何一致性，导致合成图像的质量受到限制。

核心思路：DDE-GAN的核心思路是同时在空间和频率域中进行学习，以捕捉互补的信息。此外，通过将旋转等变性融入损失函数，确保生成的图像在旋转下保持一致性，从而提高解剖结构的准确性。

技术框架：DDE-GAN的整体架构包括生成器和判别器两个主要模块，生成器负责生成合成图像，而判别器则用于评估生成图像的真实性。训练过程中采用分层的双域训练策略，通过多阶段损失函数来强化域内和域间的一致性。

关键创新：DDE-GAN的主要创新在于引入双域学习和几何等变性相结合的策略。这一设计使得模型能够更好地捕捉图像的结构特征，显著提升了合成图像的质量。

关键设计：在损失函数设计上，DDE-GAN结合了空间域和频率域的损失，同时考虑了旋转等变性。此外，网络结构采用了分层设计，以便在不同阶段强化学习效果，确保生成图像的高质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HECKTOR 2022 CT-PET数据集上的实验结果显示，DDE-GAN在合成质量上显著优于基线模型，具体性能提升幅度未知，表明双域学习与几何等变性结合的有效性，极大增强了多模态图像合成的准确性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括医学影像处理、PET图像补全和数据增强等。通过提高CT-PET图像合成的准确性和鲁棒性，DDE-GAN能够在临床诊断和治疗规划中发挥重要作用，促进医学影像技术的发展。

📄 摘要（原文）

We present a Dual-Domain Equivariant Generative Adversarial Network (DDE-GAN) for multimodal CT-PET image synthesis. Traditional GAN-based approaches often operate solely in the spatial domain and ignore geometric consistency, resulting in limited structural fidelity. DDE-GAN addresses these challenges by jointly learning from both spatial and frequency (Fourier) domains, capturing complementary anatomical and spectral information. Furthermore, rotational equivariance embedded in the physics of the CT and PET measurements are integrated into the loss of both the generator and discriminator to ensure consistent responses under rotations, improving anatomical accuracy. A hierarchical dual-domain training strategy enforces intra- and inter-domain consistency through multi-stage loss functions. Evaluated on the HECKTOR 2022 CT-PET dataset, DDE-GAN achieves superior synthesis quality over baseline models for CT-PET image synthesis. The results demonstrate that combining dual-domain learning with geometric equivariance substantially enhances multimodal image synthesis accuracy and robustness, enabling practical applications in PET completion and data augmentation.