MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction

📄 arXiv: 2404.19525v3 📥 PDF

作者: Luxi Chen, Zhengyi Wang, Zihan Zhou, Tingting Gao, Hang Su, Jun Zhu, Chongxuan Li

分类: cs.CV

发布日期: 2024-04-30 (更新: 2024-10-18)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MicroDreamer以解决3D生成效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 得分蒸馏 优化算法 神经辐射场 高效生成

📋 核心要点

  1. 现有的3D生成方法在效率上存在不足，尤其是优化过程中需要大量的函数评估，导致生成速度缓慢。
  2. 论文提出得分基础迭代重建（SIR）算法，通过在像素空间进行优化，减少了每个样本所需的函数评估次数。
  3. MicroDreamer在生成神经辐射场时速度提升显著，生成时间约为20秒，相较于现有方法有显著的性能提升。

📝 摘要（中文）

基于优化的方法，如得分蒸馏采样（SDS），在零-shot 3D生成中展现出潜力，但由于每个样本所需的函数评估次数（NFEs）较高，导致效率低下。本论文提出了一种名为得分基础迭代重建（SIR）的高效通用算法，模仿可微分的3D重建过程，以减少NFEs并实现像素空间的优化。MicroDreamer在生成神经辐射场时比SDS快5-20倍，且在单个A100 GPU上仅需约20秒即可从3D高斯喷溅生成网格，显著优于最快的优化基线DreamGaussian。

🔬 方法详解

问题定义：本论文旨在解决现有优化方法在3D生成中效率低下的问题，尤其是得分蒸馏采样（SDS）在每个样本生成过程中需要的高函数评估次数（NFEs）。

核心思路：论文提出得分基础迭代重建（SIR）算法，通过模仿可微分的3D重建过程，允许在像素空间进行优化，从而显著减少NFEs。与SDS的单步优化不同，SIR采用了多次迭代优化策略。

技术框架：MicroDreamer的整体架构包括从多视角得分基础扩散模型中采样图像，随后通过SIR算法迭代优化3D参数。该方法适用于多种3D表示和生成任务，具有良好的通用性。

关键创新：最重要的技术创新在于SIR算法的提出，它通过在像素空间进行优化而非仅限于潜在空间，显著提高了生成效率。与传统方法相比，MicroDreamer在速度和性能上均有显著提升。

关键设计：在设计上，MicroDreamer采用了优化参数设置和损失函数的改进，确保在迭代过程中保持高效的收敛性和生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MicroDreamer在生成神经辐射场时速度比得分蒸馏采样（SDS）快5-20倍，生成时间约为20秒，且在性能上与最快的优化基线DreamGaussian相比，表现出显著的优势，测量标准差也得到了显著改善。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、影视特效等3D内容生成场景。MicroDreamer的高效生成能力将极大地提升这些领域的创作效率，降低成本，并推动3D生成技术的进一步发展。

📄 摘要（原文）

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample and the limitation of optimization confined to latent space. This paper introduces score-based iterative reconstruction (SIR), an efficient and general algorithm mimicking a differentiable 3D reconstruction process to reduce the NFEs and enable optimization in pixel space. Given a single set of images sampled from a multi-view score-based diffusion model, SIR repeatedly optimizes 3D parameters, unlike the single-step optimization in SDS. With other improvements in training, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field while retaining a comparable performance and takes about 20 seconds to create meshes from 3D Gaussian splatting on a single A100 GPU, halving the time of the fastest optimization-based baseline DreamGaussian with significantly superior performance compared to the measurement standard deviation. Our code is available at https://github.com/ML-GSAI/MicroDreamer.