Semantic Image Synthesis with Unconditional Generator

📄 arXiv: 2402.14395v1 📥 PDF

作者: Jungwoo Chae, Hyunin Cho, Sooyeon Go, Kyungmook Choi, Youngjung Uh

分类: cs.CV

发布日期: 2024-02-22

备注: NeurIPS 2023, Project Page: https://hhyunn2.github.io/SIS_UncondG/

💡 一句话要点

提出无条件生成器以解决语义图像合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义图像合成 无条件生成器 特征重排 代理掩码 图像生成 深度学习

📋 核心要点

  1. 现有的语义图像合成方法通常依赖于大量的语义分割数据集，限制了其应用范围。
  2. 本文提出了一种新方法，利用预训练的无条件生成器，通过代理掩码重排特征图，从而减少对数据集的依赖。
  3. 实验结果表明，该方法在多个数据集上均取得了显著的性能提升，展示了其广泛的适用性。

📝 摘要（中文）

语义图像合成（SIS）旨在生成与给定语义掩码匹配的真实图像。尽管近期的进展使得高质量结果和精确的空间控制成为可能，但这些方法通常需要大量的语义分割数据集进行模型训练。为此，本文提出利用预训练的无条件生成器，并根据代理掩码重新排列其特征图。代理掩码通过对生成器中随机样本的特征图进行简单聚类而获得。特征重排器学习将原始特征图重新排列，以匹配来自原始样本或随机样本的代理掩码的形状。此外，我们引入了语义映射器，从包括语义掩码在内的各种输入条件生成代理掩码。该方法在自由形式空间编辑、草图转照片和涂鸦转照片等多种应用中表现出色。实验验证了我们方法在多种数据集（如人脸、动物脸和建筑物）上的优势。

🔬 方法详解

问题定义：本文旨在解决语义图像合成中对大量语义分割数据集的依赖问题。现有方法在训练过程中需要大量标注数据，限制了其应用的灵活性和普适性。

核心思路：我们提出利用预训练的无条件生成器，并通过简单的聚类技术生成代理掩码，从而重排特征图以匹配这些掩码。这样的设计使得模型能够在缺乏大量标注数据的情况下，依然生成高质量的图像。

技术框架：整体架构包括三个主要模块：预训练的无条件生成器、特征重排器和语义映射器。特征重排器负责将生成器的特征图重新排列以匹配代理掩码，而语义映射器则从各种输入条件生成代理掩码。

关键创新：本文的主要创新在于通过无条件生成器和代理掩码的结合，减少了对大规模标注数据集的需求。这一方法与传统的依赖大量标注数据的语义图像合成方法本质上不同。

关键设计：在实现过程中，我们采用了简单的聚类算法来生成代理掩码，并设计了特征重排器的损失函数，以确保生成的图像与目标语义掩码高度一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在多个数据集上均取得了显著的性能提升。例如，在人脸和建筑物数据集上，生成图像的质量和与语义掩码的匹配度均优于现有基线方法，验证了该方法的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括自由形式空间编辑、草图转照片和涂鸦转照片等。通过减少对大量标注数据的依赖，该方法能够在更多实际场景中应用，提升图像生成的灵活性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Semantic image synthesis (SIS) aims to generate realistic images that match given semantic masks. Despite recent advances allowing high-quality results and precise spatial control, they require a massive semantic segmentation dataset for training the models. Instead, we propose to employ a pre-trained unconditional generator and rearrange its feature maps according to proxy masks. The proxy masks are prepared from the feature maps of random samples in the generator by simple clustering. The feature rearranger learns to rearrange original feature maps to match the shape of the proxy masks that are either from the original sample itself or from random samples. Then we introduce a semantic mapper that produces the proxy masks from various input conditions including semantic masks. Our method is versatile across various applications such as free-form spatial editing of real images, sketch-to-photo, and even scribble-to-photo. Experiments validate advantages of our method on a range of datasets: human faces, animal faces, and buildings.