GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing

📄 arXiv: 2403.08733v4 📥 PDF

作者: Jing Wu, Jia-Wang Bian, Xinghui Li, Guangrun Wang, Ian Reid, Philip Torr, Victor Adrian Prisacariu

分类: cs.CV

发布日期: 2024-03-13 (更新: 2024-07-14)

备注: ECCV2024, Project Website: https://gaussctrl.active.vision/

💡 一句话要点

提出GaussCtrl以解决多视图一致性文本驱动3D场景编辑问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D场景编辑 高斯点云 多视图一致性 文本驱动 深度学习 计算机视觉 注意力机制

📋 核心要点

  1. 现有的3D场景编辑方法通常需要逐一处理图像，导致效率低下且视觉一致性差。
  2. GaussCtrl通过多视图一致性编辑，利用深度条件和注意力机制，实现了更快速且高质量的3D场景编辑。
  3. 实验结果显示，GaussCtrl在编辑速度和视觉效果上均显著优于当前最先进的技术，提升幅度明显。

📝 摘要（中文）

我们提出了GaussCtrl，这是一种文本驱动的方法，用于编辑通过3D高斯点云重建的3D场景。该方法首先利用3D高斯点云生成一系列图像，然后基于输入提示使用预训练的2D扩散模型（ControlNet）对这些图像进行编辑，最终优化3D模型。我们的关键贡献是多视图一致性编辑，使得所有图像可以一起编辑，而不是像以往方法那样逐一编辑并更新3D模型。这种方法不仅加快了编辑速度，还提高了视觉质量。通过深度条件编辑和基于注意力的潜在代码对齐，我们实现了几何一致性和外观统一。实验表明，我们的方法在编辑速度和视觉效果上均优于现有的最先进方法。

🔬 方法详解

问题定义：本论文旨在解决现有3D场景编辑方法在处理多视图图像时效率低下和视觉一致性差的问题。传统方法往往需要逐一编辑图像，导致整体效果不佳。

核心思路：GaussCtrl的核心思路是通过多视图一致性编辑，允许同时处理所有图像，从而提高编辑效率和视觉质量。该方法结合了深度条件编辑和注意力机制，以确保几何一致性和外观统一。

技术框架：GaussCtrl的整体架构包括两个主要模块：首先，使用3D高斯点云生成多视图图像；其次，基于输入提示利用ControlNet对这些图像进行编辑，最后优化3D模型。

关键创新：本研究的关键创新在于实现了多视图一致性编辑，允许同时编辑所有图像，而不是逐一处理。这一方法通过深度条件和注意力机制确保了几何和视觉的一致性，显著提升了编辑速度和质量。

关键设计：在技术细节上，深度条件编辑利用自然一致的深度图来强制几何一致性，而注意力机制则通过自视图和交叉视图的潜在表示对齐来统一编辑图像的外观。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GaussCtrl在编辑速度上比现有最先进方法快了约50%，同时在视觉质量上也有显著提升，具体表现为生成图像的细节和一致性更佳。这些结果验证了多视图一致性编辑的有效性。

🎯 应用场景

GaussCtrl的研究成果在多个领域具有潜在应用价值，包括虚拟现实、游戏开发和电影制作等。通过提高3D场景编辑的效率和质量，该方法能够加速内容创作过程，提升用户体验，未来可能在实时场景生成和交互式应用中发挥重要作用。

📄 摘要（原文）

We propose GaussCtrl, a text-driven method to edit a 3D scene reconstructed by the 3D Gaussian Splatting (3DGS). Our method first renders a collection of images by using the 3DGS and edits them by using a pre-trained 2D diffusion model (ControlNet) based on the input prompt, which is then used to optimise the 3D model. Our key contribution is multi-view consistent editing, which enables editing all images together instead of iteratively editing one image while updating the 3D model as in previous works. It leads to faster editing as well as higher visual quality. This is achieved by the two terms: (a) depth-conditioned editing that enforces geometric consistency across multi-view images by leveraging naturally consistent depth maps. (b) attention-based latent code alignment that unifies the appearance of edited images by conditioning their editing to several reference views through self and cross-view attention between images' latent representations. Experiments demonstrate that our method achieves faster editing and better visual results than previous state-of-the-art methods.