LatentEditor: Text Driven Local Editing of 3D Scenes
作者: Umar Khalid, Hasan Iqbal, Nazmul Karim, Jing Hua, Chen Chen
分类: cs.CV, cs.AI
发布日期: 2023-12-14 (更新: 2024-07-13)
备注: Project Page: https://latenteditor.github.io/ ECCV 2024 Accepted Paper
💡 一句话要点
LatentEditor：提出基于文本驱动的3D场景局部编辑框架，提升编辑速度与质量。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景编辑 神经场 文本驱动 局部编辑 去噪扩散模型 潜在空间 InstructPix2Pix
📋 核心要点
- 神经场编辑面临挑战，因为几何和纹理信息隐式编码在多视图输入中，难以直接操控。
- LatentEditor利用去噪扩散模型将场景嵌入潜在空间，并使用delta score引导局部修改，实现快速编辑。
- 实验表明，LatentEditor在编辑速度和质量上优于现有3D编辑模型，并在多个数据集上验证了有效性。
📝 摘要（中文）
本文提出了一种名为LatentEditor的创新框架，旨在让用户能够使用文本提示对神经场进行精确和局部控制的编辑。该框架利用去噪扩散模型，成功地将真实场景嵌入到潜在空间中，与传统方法相比，为编辑提供了一个更快、更适应性更强的NeRF主干网络。为了提高编辑精度，引入了delta score来计算潜在空间中的2D掩码，该掩码作为局部修改的指导，同时保留不相关的区域。该像素级评分方法利用InstructPix2Pix (IP2P) 的能力来区分潜在空间中IP2P条件和无条件噪声预测之间的差异。然后，在训练集中迭代更新以2D掩码为条件的编辑后的潜在变量，以实现3D局部编辑。与现有的3D编辑模型相比，该方法实现了更快的编辑速度和更高的输出质量，弥合了文本指令和潜在空间中高质量3D场景编辑之间的差距。在LLFF、IN2N、NeRFStudio和NeRF-Art四个基准3D数据集上展示了该方法的优越性。
🔬 方法详解
问题定义：现有神经场编辑方法难以实现精确的局部控制，且编辑速度较慢。由于神经场隐式地编码了几何和纹理信息，直接编辑神经场参数会导致全局性的改变，难以实现局部修改。此外，传统方法通常需要耗费大量的计算资源和时间进行优化。
核心思路：LatentEditor的核心思路是将3D场景嵌入到一个可编辑的潜在空间中，然后利用文本提示在这个潜在空间中进行局部编辑。通过在潜在空间中进行操作，可以避免直接修改神经场参数带来的全局性影响，从而实现更精确的局部控制。同时，利用去噪扩散模型可以加速潜在空间的嵌入和编辑过程。
技术框架：LatentEditor的整体框架包含以下几个主要阶段：1) 利用去噪扩散模型将真实场景嵌入到潜在空间中；2) 使用InstructPix2Pix (IP2P) 计算delta score，生成2D掩码，用于指导局部修改；3) 基于文本提示和2D掩码，在潜在空间中进行局部编辑；4) 将编辑后的潜在变量映射回3D场景。
关键创新：LatentEditor的关键创新在于：1) 利用去噪扩散模型实现了快速且可编辑的潜在空间嵌入；2) 提出了delta score，用于精确计算2D掩码，从而实现局部控制；3) 将InstructPix2Pix (IP2P) 应用于潜在空间编辑，实现了文本驱动的编辑。
关键设计：delta score的计算方式是基于IP2P条件和无条件噪声预测之间的差异。具体而言，首先使用IP2P生成条件噪声预测和无条件噪声预测，然后计算它们之间的差异，得到delta score。delta score用于生成2D掩码，掩码的大小和形状由用户指定。在潜在空间中进行编辑时，只修改掩码区域内的潜在变量，而保持其他区域的潜在变量不变。损失函数包括重建损失和编辑损失，重建损失用于保证编辑后的场景与原始场景的相似性，编辑损失用于保证编辑后的场景符合文本提示的要求。
📊 实验亮点
LatentEditor在四个基准3D数据集（LLFF、IN2N、NeRFStudio和NeRF-Art）上进行了评估，实验结果表明，LatentEditor在编辑速度和质量上均优于现有方法。具体而言，LatentEditor的编辑速度比现有方法快2-3倍，并且能够生成更逼真、更符合文本提示的3D场景。用户研究也表明，用户对LatentEditor的编辑结果更满意。
🎯 应用场景
LatentEditor可应用于3D内容创作、虚拟现实、增强现实等领域。例如，设计师可以使用文本提示快速修改3D模型，游戏开发者可以利用该技术创建更逼真的游戏场景，用户可以在虚拟现实环境中根据自己的喜好定制场景。该技术有望降低3D内容创作的门槛，并为用户提供更个性化的3D体验。
📄 摘要（原文）
While neural fields have made significant strides in view synthesis and scene reconstruction, editing them poses a formidable challenge due to their implicit encoding of geometry and texture information from multi-view inputs. In this paper, we introduce \textsc{LatentEditor}, an innovative framework designed to empower users with the ability to perform precise and locally controlled editing of neural fields using text prompts. Leveraging denoising diffusion models, we successfully embed real-world scenes into the latent space, resulting in a faster and more adaptable NeRF backbone for editing compared to traditional methods. To enhance editing precision, we introduce a delta score to calculate the 2D mask in the latent space that serves as a guide for local modifications while preserving irrelevant regions. Our novel pixel-level scoring approach harnesses the power of InstructPix2Pix (IP2P) to discern the disparity between IP2P conditional and unconditional noise predictions in the latent space. The edited latents conditioned on the 2D masks are then iteratively updated in the training set to achieve 3D local editing. Our approach achieves faster editing speeds and superior output quality compared to existing 3D editing models, bridging the gap between textual instructions and high-quality 3D scene editing in latent space. We show the superiority of our approach on four benchmark 3D datasets, LLFF, IN2N, NeRFStudio and NeRF-Art. Project Page: https://latenteditor.github.io/