DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

📄 arXiv: 2403.17237v1 📥 PDF

作者: Yuanze Lin, Ronald Clark, Philip Torr

分类: cs.CV, cs.AI, cs.GR

发布日期: 2024-03-25

备注: Project webpage: https://yuanze-lin.me/DreamPolisher_page/

💡 一句话要点

提出DreamPolisher以解决文本到3D生成中的视图一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 文本到3D生成 高斯点云 几何一致性 ControlNet 纹理保真度 虚拟现实 自动化设计

📋 核心要点

  1. 现有文本到3D生成方法在视图一致性和纹理丰富性方面存在不足，特别是仅依赖文本输入的情况。
  2. 论文提出了一种两阶段的高斯点云方法，通过几何优化和ControlNet驱动的细化器来增强生成结果的质量。
  3. 实验证明，DreamPolisher在多种对象类别的生成任务中表现优异，生成的3D对象与文本语义高度一致。

📝 摘要（中文）

我们提出了DreamPolisher，这是一种基于高斯点云的几何引导方法，旨在从文本描述中学习跨视图一致性和复杂细节。尽管近期文本到3D生成方法取得了一定进展，但现有方法往往无法确保视图一致性和纹理丰富性，尤其是仅依赖文本输入的方法。为了解决这一问题，我们提出了一种两阶段的高斯点云方法，强制执行视图间的几何一致性。初步的3D生成经过几何优化进行细化，随后使用ControlNet驱动的细化器结合几何一致性项，以提高生成3D资产的纹理保真度和整体一致性。通过对多种对象类别的不同文本提示进行实证评估，DreamPolisher在生成一致且真实的3D对象方面表现出色，与文本指令的语义紧密对齐。

🔬 方法详解

问题定义：论文旨在解决文本到3D生成中的视图一致性和纹理丰富性不足的问题。现有方法在处理仅依赖文本输入时，常常无法生成一致且细致的3D对象。

核心思路：论文提出的解决思路是采用两阶段的高斯点云生成方法，通过几何优化和细化过程来确保生成结果的几何一致性和纹理质量。这样的设计旨在克服现有方法的局限性，提升生成的3D资产的真实感。

技术框架：整体架构分为两个主要阶段：第一阶段进行粗略的3D生成，第二阶段通过几何优化和ControlNet驱动的细化器进行细化。在细化过程中，结合几何一致性项以增强纹理保真度。

关键创新：最重要的技术创新在于引入了几何一致性约束，确保不同视角下生成的3D对象在几何形状和纹理上保持一致。这一创新显著提升了生成结果的质量，与传统方法相比具有本质区别。

关键设计：在参数设置上，采用了特定的损失函数来平衡几何一致性和纹理保真度。此外，网络结构中引入了ControlNet，以便在细化阶段更好地控制生成过程。

📊 实验亮点

实验结果表明，DreamPolisher在生成一致且真实的3D对象方面显著优于现有基线方法，特别是在多种对象类别的测试中，生成结果的纹理保真度和几何一致性均有明显提升，具体性能数据未详细披露。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、建筑设计和电影制作等。通过提高文本到3D生成的质量，DreamPolisher能够为创作者提供更高效的工具，推动相关行业的发展。未来，该技术可能会在自动化设计和个性化内容生成方面产生深远影响。

📄 摘要（原文）

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.