RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion
作者: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi
分类: cs.CV, cs.AI, cs.GR, cs.LG
发布日期: 2024-04-10 (更新: 2025-03-11)
备注: Published at 3DV 2025
💡 一句话要点
提出RealmDreamer以解决文本驱动的3D场景生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景生成 文本驱动 扩散模型 几何蒸馏 低方差监督 高保真度 计算机视觉
📋 核心要点
- 现有的3D场景生成方法通常依赖于视频或多视图数据，限制了其应用范围。
- 我们提出了一种基于文本描述的3D场景生成方法，利用2D修补和深度扩散模型进行优化。
- 实验结果表明，RealmDreamer在用户偏好上优于现有方法，达到了88-95%的偏好率。
📝 摘要（中文）
我们介绍了RealmDreamer，这是一种从文本描述生成正面3D场景的技术。该方法利用预训练的扩散模型，通过优化3D高斯点云表示来匹配复杂的文本提示。我们的关键见解是利用基于初始场景估计的2D修补扩散模型，为3D蒸馏过程中未知区域提供低方差监督。同时，我们通过深度扩散模型的几何蒸馏赋予高保真几何形状，条件是来自修补模型的样本。我们发现优化初始化至关重要，并提供了一个有原则的方法来实现这一点。值得注意的是，该技术不需要视频或多视图数据，能够合成各种高质量的3D场景，具有复杂的布局和不同的风格。此外，我们的方法的通用性允许从单张图像进行3D合成。通过全面的用户研究测量，我们的方法优于所有现有方法，受到了88-95%的偏好。
🔬 方法详解
问题定义：本论文旨在解决从文本描述生成高质量3D场景的挑战。现有方法通常需要多视图或视频数据，限制了其灵活性和应用场景。
核心思路：我们的方法通过优化3D高斯点云表示，结合预训练的扩散模型，利用2D修补模型为未知区域提供低方差监督，从而实现高质量的3D场景生成。
技术框架：整体架构包括三个主要模块：首先，使用文本描述生成初始场景估计；其次，利用2D修补扩散模型进行低方差监督；最后，通过深度扩散模型进行几何蒸馏，提升场景的几何保真度。
关键创新：本研究的主要创新在于结合了2D修补和深度扩散模型，提供了一种新的低方差监督机制，显著提高了3D场景生成的质量和灵活性。
关键设计：在技术细节上，我们设计了合理的优化初始化方法，并在损失函数中引入了针对未知区域的低方差监督，确保了生成结果的稳定性和高保真度。
🖼️ 关键图片
📊 实验亮点
在全面的用户研究中，RealmDreamer的生成结果在用户偏好上优于所有现有方法，达到了88-95%的偏好率，显示出其在3D场景生成领域的显著优势。该方法能够在没有视频或多视图数据的情况下，合成各种风格和复杂布局的高质量3D场景。
🎯 应用场景
RealmDreamer在游戏开发、虚拟现实和建筑可视化等领域具有广泛的应用潜力。通过从文本描述生成3D场景，该技术可以大幅度提升内容创作的效率，降低对专业技能的依赖，推动创意产业的发展。未来，该方法还可能与其他生成模型结合，进一步拓展应用范围。
📄 摘要（原文）
We introduce RealmDreamer, a technique for generating forward-facing 3D scenes from text descriptions. Our method optimizes a 3D Gaussian Splatting representation to match complex text prompts using pretrained diffusion models. Our key insight is to leverage 2D inpainting diffusion models conditioned on an initial scene estimate to provide low variance supervision for unknown regions during 3D distillation. In conjunction, we imbue high-fidelity geometry with geometric distillation from a depth diffusion model, conditioned on samples from the inpainting model. We find that the initialization of the optimization is crucial, and provide a principled methodology for doing so. Notably, our technique doesn't require video or multi-view data and can synthesize various high-quality 3D scenes in different styles with complex layouts. Further, the generality of our method allows 3D synthesis from a single image. As measured by a comprehensive user study, our method outperforms all existing approaches, preferred by 88-95%. Project Page: https://realmdreamer.github.io/