EucliDreamer: Fast and High-Quality Texturing for 3D Models with Depth-Conditioned Stable Diffusion

📄 arXiv: 2404.10279v1 📥 PDF

作者: Cindy Le, Congrui Hetang, Chendi Lin, Ang Cao, Yihui He

分类: cs.CV

发布日期: 2024-04-16

备注: Short version of arXiv:2311.15573

💡 一句话要点

提出EucliDreamer以解决3D模型纹理生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D模型 纹理生成 深度学习 稳定扩散 可微渲染 艺术风格 自动化创作

📋 核心要点

  1. 现有的3D模型纹理生成方法在质量和效率上存在不足，难以满足多样化艺术风格的需求。
  2. EucliDreamer通过深度条件稳定扩散模型生成高质量纹理，优化过程结合了隐式函数和可微渲染技术。
  3. 实验结果表明，EucliDreamer在质量上优于Text2Tex，并且收敛速度比DreamFusion快2倍，显示出显著的性能提升。

📝 摘要（中文）

我们提出了EucliDreamer，这是一种简单而有效的方法，可以根据文本提示和网格生成3D模型的纹理。纹理被参数化为3D表面上的隐式函数，通过Score Distillation Sampling (SDS)过程和可微渲染进行优化。为了生成高质量的纹理，我们利用了一个基于深度图像的深度条件稳定扩散模型。我们在Objaverse的3D模型上测试了该方法，并进行了用户研究，结果显示其质量优于现有的纹理生成方法，如Text2Tex。此外，我们的方法收敛速度比DreamFusion快2倍。通过文本提示，可以生成多样化艺术风格的纹理。我们希望EucliDreamer为自动化3D内容创作中的劳动密集型阶段提供可行的解决方案。

🔬 方法详解

问题定义：本论文旨在解决3D模型纹理生成的效率和质量问题。现有方法往往无法快速生成高质量的纹理，且对艺术风格的支持有限。

核心思路：我们提出的EucliDreamer方法通过深度条件稳定扩散模型，结合隐式函数和可微渲染技术，能够在给定文本提示的情况下生成高质量的3D纹理。这样的设计使得纹理生成过程更为灵活且高效。

技术框架：EucliDreamer的整体架构包括三个主要模块：首先是输入的文本提示和3D网格；其次是深度条件稳定扩散模型用于生成纹理；最后是通过Score Distillation Sampling (SDS)和可微渲染进行优化。

关键创新：本研究的关键创新在于将深度信息与稳定扩散模型结合，形成了一种新的纹理生成方法。这种方法在质量和效率上均优于现有的技术，如Text2Tex和DreamFusion。

关键设计：在技术细节上，我们设计了适应性的损失函数，以优化隐式纹理函数的生成，并在网络结构中引入了深度图像作为条件输入，从而提升了生成纹理的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EucliDreamer在纹理生成质量上显著优于Text2Tex，且收敛速度比DreamFusion快2倍。这表明该方法在实际应用中具有更高的效率和更好的效果，能够满足多样化的艺术风格需求。

🎯 应用场景

EucliDreamer在3D内容创作领域具有广泛的应用潜力，尤其是在游戏开发、动画制作和虚拟现实等行业。通过自动化纹理生成过程，可以大幅度降低人工成本，提高创作效率。此外，该方法的灵活性使得用户能够根据不同的艺术风格需求生成相应的纹理，进一步丰富了3D内容的表现力。

📄 摘要（原文）

We present EucliDreamer, a simple and effective method to generate textures for 3D models given text prompts and meshes. The texture is parametrized as an implicit function on the 3D surface, which is optimized with the Score Distillation Sampling (SDS) process and differentiable rendering. To generate high-quality textures, we leverage a depth-conditioned Stable Diffusion model guided by the depth image rendered from the mesh. We test our approach on 3D models in Objaverse and conducted a user study, which shows its superior quality compared to existing texturing methods like Text2Tex. In addition, our method converges 2 times faster than DreamFusion. Through text prompting, textures of diverse art styles can be produced. We hope Euclidreamer proides a viable solution to automate a labor-intensive stage in 3D content creation.