A Unified Approach for Text- and Image-guided 4D Scene Generation

📄 arXiv: 2311.16854v3 📥 PDF

作者: Yufeng Zheng, Xueting Li, Koki Nagano, Sifei Liu, Karsten Kreis, Otmar Hilliges, Shalini De Mello

分类: cs.CV

发布日期: 2023-11-28 (更新: 2024-05-07)

备注: Project page: https://research.nvidia.com/labs/nxp/dream-in-4d/

💡 一句话要点

提出Dream-in-4D以解决文本引导的4D场景生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 4D场景生成 扩散模型 动态3D生成 可变形神经辐射场 多模态生成

📋 核心要点

  1. 现有方法在文本到4D动态3D场景生成方面尚未得到充分探索，导致生成质量和一致性不足。
  2. 本文提出的Dream-in-4D方法采用两阶段策略，结合3D和2D扩散指导，学习高质量静态3D资产并进行运动学习。
  3. 通过用户偏好研究，实验结果显示该方法在图像和运动质量、3D一致性及文本保真度上有显著提升。

📝 摘要（中文）

大规模扩散生成模型极大简化了用户提供文本提示和图像的图像、视频和3D资产创建。然而，文本到4D动态3D场景生成的问题仍然未得到充分探索。本文提出了Dream-in-4D，采用新颖的两阶段方法进行文本到4D合成，利用3D和2D扩散指导有效学习高质量静态3D资产，并通过可变形神经辐射场明确解耦学习的静态资产与其变形，保持运动学习过程中的质量。通过用户偏好研究，我们证明了该方法在图像和运动质量、3D一致性和文本保真度方面显著优于基线方法。由于其运动解耦表示，Dream-in-4D还可轻松适应可控生成任务。

🔬 方法详解

问题定义：本文旨在解决文本到4D动态3D场景生成的挑战，现有方法在生成质量和一致性方面存在不足，尤其是在运动学习过程中。

核心思路：提出的Dream-in-4D方法通过两阶段策略，首先利用扩散指导学习静态3D资产，随后通过可变形神经辐射场进行运动学习，从而有效解耦静态资产与其变形。

技术框架：整体架构分为两个主要阶段：第一阶段通过3D和2D扩散指导生成高质量静态3D资产；第二阶段使用可变形神经辐射场和多分辨率特征网格进行运动学习，结合位移总变差损失以提高运动生成质量。

关键创新：最重要的创新在于运动解耦表示的引入，使得生成过程中的静态和动态特征可以独立处理，显著提升了生成质量和一致性。

关键设计：在技术细节上，采用了多分辨率特征网格和位移总变差损失函数，以有效学习运动，同时保持生成的3D资产质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Dream-in-4D在图像和运动质量上相较于基线方法有显著提升，具体表现为3D一致性和文本保真度的提高，用户偏好研究显示出用户对生成内容的满意度明显增加。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等，能够为用户提供更高质量的动态场景生成，提升用户体验。未来，该方法还可能在个性化内容生成和交互式媒体中发挥重要作用。

📄 摘要（原文）

Large-scale diffusion generative models are greatly simplifying image, video and 3D asset creation from user-provided text prompts and images. However, the challenging problem of text-to-4D dynamic 3D scene generation with diffusion guidance remains largely unexplored. We propose Dream-in-4D, which features a novel two-stage approach for text-to-4D synthesis, leveraging (1) 3D and 2D diffusion guidance to effectively learn a high-quality static 3D asset in the first stage; (2) a deformable neural radiance field that explicitly disentangles the learned static asset from its deformation, preserving quality during motion learning; and (3) a multi-resolution feature grid for the deformation field with a displacement total variation loss to effectively learn motion with video diffusion guidance in the second stage. Through a user preference study, we demonstrate that our approach significantly advances image and motion quality, 3D consistency and text fidelity for text-to-4D generation compared to baseline approaches. Thanks to its motion-disentangled representation, Dream-in-4D can also be easily adapted for controllable generation where appearance is defined by one or multiple images, without the need to modify the motion learning stage. Thus, our method offers, for the first time, a unified approach for text-to-4D, image-to-4D and personalized 4D generation tasks.