Metadata-Aware Adaptation of a Generative Foundation Model for Conditional CMR Synthesis

📄 arXiv: 2608.24342v1 📥 PDF

作者: Marc Rodríguez, Grzegorz Skorupko, Nay Aung, Steffen E Petersen, Karim Lekadir, Polyxeni Gkontra

分类: cs.CV, cs.AI

发布日期: 2026-08-25

备注: 5 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于元数据的生成模型以改善心脏磁共振图像合成

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心脏磁共振 生成模型 元数据 图像合成 医学影像 潜在扩散模型 临床应用

📋 核心要点

  1. 现有的合成医学图像方法难以生成真实反映患者特征的图像，尤其是在数据稀缺的情况下。
  2. 本研究提出了一种基于元数据的心脏磁共振图像合成方法，利用预训练的潜在扩散模型和多种策略来改善生成质量。
  3. 实验结果表明，结合方法在图像相似性和分布一致性方面显著优于基线，尤其是在处理人口统计和获取相关元数据时表现出色。

📝 摘要（中文）

合成图像生成是一种有前景的策略，旨在解决医学影像中数据稀缺和临床重要表型不足的问题。然而，生成真实反映患者特征的图像仍然具有挑战性。本研究探讨了基于元数据的心脏磁共振（CMR）合成，利用预训练的潜在扩散模型，将结构化临床元数据和切片位置编码为文本提示，以指导CMR生成。为提高元数据遵循性并解决临床属性的不平衡，集成了三种策略：无元数据的无分类器引导（CFG）、对比批处理和逆频率采样。该框架在59,058个来自UK Biobank的短轴CMR图像上进行了微调和评估，结果显示，结合方法的Fréchet Inception Distance（FID）为37.47，相较于未使用这些策略的同一模型提高了57.04%。

🔬 方法详解

问题定义：本研究旨在解决合成医学图像中生成图像与患者特征之间的匹配问题。现有方法在生成图像时未能充分利用临床元数据，导致生成图像的临床相关性不足。

核心思路：论文提出了一种基于元数据的心脏磁共振图像合成方法，利用预训练的潜在扩散模型，通过将结构化临床元数据和切片位置作为文本提示来指导图像生成。

技术框架：整体框架包括三个主要模块：1) 元数据无分类器引导（CFG），2) 对比批处理，3) 逆频率采样。这些模块共同作用，以提高生成图像的质量和临床相关性。

关键创新：最重要的技术创新在于引入了无元数据的CFG策略，这一策略显著改善了生成图像的分布一致性，与现有方法相比，优先考虑了群体层面的真实感，而非逐像素的精确重现。

关键设计：在模型设计中，采用了特定的损失函数和参数设置，以优化生成图像的质量。此外，通过对59,058个短轴CMR图像进行微调，确保了模型在实际应用中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，结合方法的Fréchet Inception Distance（FID）为37.47，相较于未使用新策略的模型提高了57.04%，并且比之前需要心脏几何形状作为额外输入的文本条件CMR扩散基线提高了28.68%。这表明该方法在生成图像的分布一致性方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括医学影像学、临床诊断和个性化医疗。通过生成高质量的心脏磁共振图像，能够帮助医生更好地理解患者的病情，并为患者提供更精准的治疗方案。未来，该方法还可以扩展到其他类型的医学图像合成中，推动医学影像技术的发展。

📄 摘要（原文）

Synthetic image generation is a promising strategy to address data scarcity and the underrepresentation of clinically important phenotypes in medical imaging, yet generating images that faithfully reflect meaningful patient characteristics remains challenging. In this work, we investigate metadata-conditioned cardiac magnetic resonance (CMR) synthesis using a pretrained latent diffusion model, encoding structured clinical metadata and slice position as textual prompts to guide CMR generation. To improve metadata adherence and address the imbalance of clinical attributes, we integrate three strategies: Metadata-Free Classifier-Free Guidance (CFG), Contrastive Batching, and Inverse-Frequency Sampling. The framework was fine-tuned and evaluated on 59,058 short-axis CMR from the UK Biobank using paired image similarity, distributional fidelity, and subgroup-level analyses. The combined approach achieved a Fréchet Inception Distance (FID) of 37.47, improving by 57.04\% over the same model fine-tuned without these strategies and by 28.68\% over a previous text-conditioned CMR diffusion baseline requiring cardiac geometry as additional input, while relying solely on patient metadata. This distributional gain, driven mainly by Metadata-Free CFG, came with a modest reduction in paired similarity, suggesting that the model prioritizes population-level realism over exact image reproduction. Subgroup analyses demonstrated improved alignment across demographic and acquisition-related metadata, with disease-specific conditioning being the most challenging task. These findings demonstrate the potential of generative foundation models for clinically meaningful CMR synthesis while highlighting the need for more effective metadata-aware conditioning strategies. Our code is available at https://github.com/rodriguezmarc/conditional-cmr.