CAD: Photorealistic 3D Generation via Adversarial Distillation

📄 arXiv: 2312.06663v1 📥 PDF

作者: Ziyu Wan, Despoina Paschalidou, Ian Huang, Hongyu Liu, Bokui Shen, Xiaoyu Xiang, Jing Liao, Leonidas Guibas

分类: cs.CV, cs.GR

发布日期: 2023-12-11

备注: Project page: http://raywzy.com/CAD/

💡 一句话要点

CAD：通过对抗蒸馏实现逼真的3D生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D生成 对抗学习 扩散模型 图像渲染 单视图重建

📋 核心要点

  1. 现有基于SDS的3D生成方法在高维分布中寻找正确模式困难，导致过饱和、过平滑等问题。
  2. 该论文提出一种新的学习范式，通过对抗方式建模多视图渲染和扩散先验之间的分布差异。
  3. 实验结果表明，该方法在生成质量和多样性方面优于现有方法，并可应用于单视图重建等任务。

📝 摘要（中文）

AR/VR、机器人和游戏应用对3D数据的需求日益增长，推动了能够合成高质量3D对象的生成流程的发展。这些模型大多依赖于Score Distillation Sampling (SDS)算法来优化3D表示，使得渲染图像保持较高的似然性，该似然性由预训练的扩散模型评估。然而，在高维分布中找到正确的模式是具有挑战性的，并且经常导致过度饱和、过度平滑和Janus式伪影等问题。本文提出了一种新的3D合成学习范式，该范式利用预训练的扩散模型。我们的方法不是专注于模式搜索，而是以对抗的方式直接建模多视图渲染和扩散先验之间的分布差异，从而解锁了基于单张图像和提示的高保真和逼真3D内容的生成。此外，通过利用GAN的潜在空间和富有表现力的扩散模型先验，我们的方法促进了各种3D应用，包括单视图重建、高多样性生成和开放域中的连续3D插值。实验表明，与之前的工作相比，我们的流程在生成质量和多样性方面具有优越性。

🔬 方法详解

问题定义：现有的基于Score Distillation Sampling (SDS)的3D生成方法，依赖于预训练的扩散模型来优化3D表示。然而，扩散模型产生的高维分布中存在多个模式，找到正确的模式非常困难，容易导致生成结果出现过饱和、过平滑以及Janus面等伪影，影响生成质量。

核心思路：该论文的核心思路是避免直接进行模式搜索，而是通过对抗学习的方式，直接建模多视图渲染图像与扩散模型先验之间的分布差异。通过最小化这种差异，可以引导3D表示生成更逼真、高质量的图像。这种方法不再依赖于精确地找到扩散模型的某个特定模式，而是学习如何生成符合扩散模型先验的图像。

技术框架：该方法的技术框架主要包含以下几个模块：1) 3D表示模块，用于表示待生成的3D对象；2) 渲染模块，用于将3D表示渲染成多视角的2D图像；3) 判别器模块，用于区分渲染图像和扩散模型生成的图像；4) 生成器模块，用于优化3D表示，使得渲染图像能够欺骗判别器。整个流程通过对抗训练的方式进行，生成器不断优化3D表示，判别器不断提高区分能力，最终达到生成逼真3D内容的目的。

关键创新：该论文最重要的技术创新点在于使用对抗学习来建模渲染图像和扩散模型先验之间的分布差异，而不是像传统方法那样直接进行模式搜索。这种方法能够有效避免模式搜索带来的问题，从而生成更高质量的3D内容。此外，该方法还结合了GAN的潜在空间和扩散模型先验，从而能够实现更多样化的3D生成。

关键设计：在关键设计方面，该论文可能涉及到以下技术细节：1) 判别器的网络结构设计，需要能够有效区分渲染图像和扩散模型生成的图像；2) 损失函数的设计，需要能够有效引导3D表示生成符合扩散模型先验的图像；3) 3D表示的选择，需要能够灵活地表示各种形状的3D对象；4) 对抗训练的策略，需要保证训练的稳定性和收敛性。具体的参数设置和网络结构等细节未知，需要参考论文原文。

📊 实验亮点

该论文提出的方法在3D生成质量和多样性方面均优于现有方法。具体性能数据未知，但摘要中明确指出该方法能够生成更高保真度和更逼真的3D内容，并能够实现单视图重建、高多样性生成和连续3D插值等功能。与基于SDS的方法相比，该方法能够有效避免过饱和、过平滑等问题，生成更符合人类视觉感知的3D模型。

🎯 应用场景

该研究成果可广泛应用于AR/VR内容创作、机器人场景理解、游戏资产生成等领域。通过单张图像或文本提示生成高质量3D模型，可以大幅降低3D内容制作的成本和门槛，加速相关产业的发展。此外，该方法还可用于3D模型的修复、编辑和风格迁移等任务，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

The increased demand for 3D data in AR/VR, robotics and gaming applications, gave rise to powerful generative pipelines capable of synthesizing high-quality 3D objects. Most of these models rely on the Score Distillation Sampling (SDS) algorithm to optimize a 3D representation such that the rendered image maintains a high likelihood as evaluated by a pre-trained diffusion model. However, finding a correct mode in the high-dimensional distribution produced by the diffusion model is challenging and often leads to issues such as over-saturation, over-smoothing, and Janus-like artifacts. In this paper, we propose a novel learning paradigm for 3D synthesis that utilizes pre-trained diffusion models. Instead of focusing on mode-seeking, our method directly models the distribution discrepancy between multi-view renderings and diffusion priors in an adversarial manner, which unlocks the generation of high-fidelity and photorealistic 3D content, conditioned on a single image and prompt. Moreover, by harnessing the latent space of GANs and expressive diffusion model priors, our method facilitates a wide variety of 3D applications including single-view reconstruction, high diversity generation and continuous 3D interpolation in the open domain. The experiments demonstrate the superiority of our pipeline compared to previous works in terms of generation quality and diversity.