BrightDreamer: Generic 3D Gaussian Generative Framework for Fast Text-to-3D Synthesis

📄 arXiv: 2403.11273v2 📥 PDF

作者: Lutao Jiang, Xu Zheng, Yuanhuiyi Lyu, Jiazhou Zhou, Lin Wang

分类: cs.CV

发布日期: 2024-03-17 (更新: 2024-11-18)

💡 一句话要点

提出BrightDreamer以解决文本到3D合成效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 文本到3D合成 3D高斯体 形状变形 前馈生成 语义理解 计算机视觉 深度学习

📋 核心要点

  1. 现有文本到3D合成方法在每个提示上进行单独优化，导致生成效率低下，难以满足快速生成的需求。
  2. BrightDreamer通过将生成过程视为从锚形状估计3D变形，提出了文本引导的形状变形网络和三平面生成器，实现在未见文本提示下的快速生成。
  3. 实验结果显示，BrightDreamer在705帧每秒的渲染速度下，具备强大的语义理解能力，显著优于现有方法。

📝 摘要（中文）

文本到3D合成近年来通过结合文本到图像的先验知识与3D表示方法取得了显著进展。然而，现有方法在每个提示上进行单独优化，导致效率低下。为此，BrightDreamer提出了一种端到端的前馈生成方法，能够快速（77毫秒）实现文本到3D的生成。其核心思想是通过预测锚形状的3D变形来生成3D高斯体。论文中还提出了文本引导的形状变形网络和文本引导的三平面生成器，以生成3D对象的表示。实验结果表明，BrightDreamer在复杂文本提示下仍具备强大的语义理解能力，并且在性能上优于现有方法。

🔬 方法详解

问题定义：论文要解决的问题是现有文本到3D合成方法在每个提示上进行单独优化导致的低效率，尤其是在生成复杂3D对象时的挑战。

核心思路：BrightDreamer的核心思路是将生成过程视为从锚形状估计3D变形，通过前馈生成实现对任意文本提示的快速响应。

技术框架：整体架构包括两个主要模块：文本引导的形状变形网络（TSD）用于预测变形后的形状及其新位置，文本引导的三平面生成器（TTG）用于生成3D对象的三平面表示。

关键创新：最重要的技术创新在于通过直接生成数百万个3D高斯体来表示3D对象，显著提高了生成效率和语义理解能力。

关键设计：关键设计包括高斯体的中心位置、缩放、旋转、透明度和SH等五个属性的估计，采用特定的损失函数和网络结构以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BrightDreamer在生成速度上达到了705帧每秒，相较于现有方法显著提升了效率。同时，在复杂文本提示下，模型展现出强大的语义理解能力，验证了其在实际应用中的有效性。

🎯 应用场景

BrightDreamer在游戏开发、虚拟现实、动画制作等领域具有广泛的应用潜力。其快速生成3D对象的能力可以大幅提升创作效率，降低开发成本。此外，强大的语义理解能力使其能够处理复杂的文本描述，进一步拓展了应用场景。

📄 摘要（原文）

Text-to-3D synthesis has recently seen intriguing advances by combining the text-to-image priors with 3D representation methods, e.g., 3D Gaussian Splatting (3D GS), via Score Distillation Sampling (SDS). However, a hurdle of existing methods is the low efficiency, per-prompt optimization for a single 3D object. Therefore, it is imperative for a paradigm shift from per-prompt optimization to feed-forward generation for any unseen text prompts, which yet remains challenging. An obstacle is how to directly generate a set of millions of 3D Gaussians to represent a 3D object. This paper presents BrightDreamer, an end-to-end feed-forward approach that can achieve generalizable and fast (77 ms) text-to-3D generation. Our key idea is to formulate the generation process as estimating the 3D deformation from an anchor shape with predefined positions. For this, we first propose a Text-guided Shape Deformation (TSD) network to predict the deformed shape and its new positions, used as the centers (one attribute) of 3D Gaussians. To estimate the other four attributes (i.e., scaling, rotation, opacity, and SH), we then design a novel Text-guided Triplane Generator (TTG) to generate a triplane representation for a 3D object. The center of each Gaussian enables us to transform the spatial feature into the four attributes. The generated 3D Gaussians can be finally rendered at 705 frames per second. Extensive experiments demonstrate the superiority of our method over existing methods. Also, BrightDreamer possesses a strong semantic understanding capability even for complex text prompts. The code is available in the project page.