InstructPix2NeRF: Instructed 3D Portrait Editing from a Single Image

📄 arXiv: 2311.02826v2 📥 PDF

作者: Jianhui Li, Shilong Liu, Zidong Liu, Yikai Wang, Kaiwen Zheng, Jinghui Xu, Jianmin Li, Jun Zhu

分类: cs.CV

发布日期: 2023-11-06 (更新: 2024-02-02)

备注: https://github.com/mybabyyh/InstructPix2NeRF

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出InstructPix2NeRF以解决开放世界肖像的3D编辑问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D肖像编辑 神经辐射场 自然语言处理 扩散模型 身份一致性 计算机视觉 深度学习

📋 核心要点

  1. 现有的3D肖像编辑方法在处理自然语言指令时，依赖每个提示的单独优化，导致效率低下。
  2. 本文提出的InstructPix2NeRF框架通过条件潜在3D扩散过程，实现从单一图像进行人类指令的3D肖像编辑。
  3. 实验结果表明，该方法在多视角3D身份一致性和编辑质量上显著优于现有强基线，验证了其有效性。

📝 摘要（中文）

随着神经辐射场（NeRF）在3D肖像编辑中的成功，许多研究在质量和3D一致性方面取得了良好成果。然而，现有方法在处理自然语言编辑指令时，过于依赖每个提示的优化，且缺乏标注的人脸3D数据集和有效的架构。为了解决这一问题，本文提出了一种名为InstructPix2NeRF的端到端扩散框架，能够从单一开放世界图像中进行人类指令的3D肖像编辑。其核心是一个条件潜在3D扩散过程，通过学习成对图像差异与指令之间的关联，将2D编辑提升至3D空间。通过提出的标记位置随机化策略，能够在保持肖像身份的同时实现多语义编辑。此外，本文还提出了身份一致性模块，直接调节提取的身份信号，增强多视角3D身份一致性。大量实验验证了该方法的有效性，并在定量和定性上优于强基线。

🔬 方法详解

问题定义：本文旨在解决开放世界肖像的3D编辑问题，现有方法在处理自然语言指令时效率低下，且缺乏有效的3D数据集和架构。

核心思路：InstructPix2NeRF通过条件潜在3D扩散过程，将2D编辑提升至3D空间，学习图像差异与指令之间的关联，从而实现高效的3D肖像编辑。

技术框架：该框架包括数据预处理、条件潜在3D扩散过程、标记位置随机化策略和身份一致性模块等主要部分，形成一个端到端的编辑流程。

关键创新：最重要的创新在于提出的条件潜在3D扩散过程和身份一致性模块，使得多视角3D身份一致性得以增强，与现有方法相比，提升了编辑的灵活性和效果。

关键设计：在设计中，采用了标记位置随机化策略以实现多语义编辑，同时通过调节提取的身份信号来增强3D一致性，具体的损失函数和网络结构设计未详细披露，标记为未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InstructPix2NeRF在多视角3D身份一致性和编辑质量上显著优于现有强基线，具体性能数据未详细披露，标记为未知，验证了该方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和数字内容创作等，能够为用户提供更为灵活和高效的3D肖像编辑工具，提升用户体验和创作效率。未来可能在社交媒体和在线虚拟形象创建中发挥重要作用。

📄 摘要（原文）

With the success of Neural Radiance Field (NeRF) in 3D-aware portrait editing, a variety of works have achieved promising results regarding both quality and 3D consistency. However, these methods heavily rely on per-prompt optimization when handling natural language as editing instructions. Due to the lack of labeled human face 3D datasets and effective architectures, the area of human-instructed 3D-aware editing for open-world portraits in an end-to-end manner remains under-explored. To solve this problem, we propose an end-to-end diffusion-based framework termed InstructPix2NeRF, which enables instructed 3D-aware portrait editing from a single open-world image with human instructions. At its core lies a conditional latent 3D diffusion process that lifts 2D editing to 3D space by learning the correlation between the paired images' difference and the instructions via triplet data. With the help of our proposed token position randomization strategy, we could even achieve multi-semantic editing through one single pass with the portrait identity well-preserved. Besides, we further propose an identity consistency module that directly modulates the extracted identity signals into our diffusion process, which increases the multi-view 3D identity consistency. Extensive experiments verify the effectiveness of our method and show its superiority against strong baselines quantitatively and qualitatively. Source code and pre-trained models can be found on our project page: \url{https://mybabyyh.github.io/InstructPix2NeRF}.