FED-NeRF: Achieve High 3D Consistency and Temporal Coherence for Face Video Editing on Dynamic NeRF

📄 arXiv: 2401.02616v1 📥 PDF

作者: Hao Zhang, Yu-Wing Tai, Chi-Keung Tang

分类: cs.CV

发布日期: 2024-01-05

备注: Our code will be available at: https://github.com/ZHANG1023/FED-NeRF

💡 一句话要点

提出FED-NeRF以解决动态视频编辑中的3D一致性与时间连贯性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态视频编辑 3D一致性 时间连贯性 GAN-NeRF 面部动画 潜在编码 多视图重建 深度学习

📋 核心要点

  1. 现有的GAN-NeRF结构在视频编辑中难以同时实现多视图一致性和时间连贯性，导致编辑效果不理想。
  2. 本文提出了一种基于动态面部GAN-NeRF的新架构，通过编辑潜在编码来确保面部的多视图一致性。
  3. 实验结果表明，该方法在4D面部视频编辑中表现优异，超越了现有的2D和3D方法，具有显著的性能提升。

📝 摘要（中文）

GAN-NeRF结构的成功使得在NeRF上进行面部编辑时能够保持3D视图一致性。然而，在编辑视频序列时，同时实现多视图一致性和时间连贯性仍然是一个巨大的挑战。本文提出了一种新颖的面部视频编辑架构，基于动态面部GAN-NeRF结构，有效利用视频序列恢复潜在编码和3D面部几何。通过编辑潜在编码，可以确保面部的多视图一致性。由于面部几何的估计是逐帧进行的，这可能引入抖动问题。我们提出了一种稳定器，通过保持连续帧中面部表情的平滑变化来维持时间连贯性。定量和定性分析表明，我们的方法作为首个4D面部视频编辑器，在与现有独立处理身份和运动的2D或3D方法相比时，达到了最先进的性能。代码将会发布。

🔬 方法详解

问题定义：本文旨在解决在动态视频编辑中实现3D一致性和时间连贯性的问题。现有方法在处理视频序列时，往往无法同时保持多视图一致性和时间上的平滑过渡，导致编辑效果不佳。

核心思路：论文提出的解决方案是基于动态面部GAN-NeRF结构，通过利用视频序列恢复潜在编码和3D面部几何，从而确保面部编辑的一致性。编辑潜在编码的方式使得在不同视角下的面部表现保持一致。

技术框架：整体架构包括多个模块，首先通过动态GAN-NeRF结构进行面部几何的估计，然后利用稳定器模块来保持时间连贯性，最后通过多视图重建验证编辑效果。

关键创新：本文的主要创新在于提出了一种新的稳定器，能够有效地减少因逐帧估计面部几何而产生的抖动问题，确保了连续帧之间的表情变化平滑。

关键设计：在技术细节上，论文设计了特定的损失函数来优化潜在编码的编辑效果，并对网络结构进行了调整，以适应动态视频的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FED-NeRF在4D面部视频编辑中达到了最先进的性能，相较于现有的2D和3D方法，编辑效果提升显著，具体性能数据未详细披露，但定量和定性分析均表明其优越性。

🎯 应用场景

该研究的潜在应用领域包括电影制作、游戏开发和虚拟现实等场景，能够为面部动画和视频编辑提供更高质量的工具。未来，该技术可能会在社交媒体和在线内容创作中得到广泛应用，提升用户体验和创作自由度。

📄 摘要（原文）

The success of the GAN-NeRF structure has enabled face editing on NeRF to maintain 3D view consistency. However, achieving simultaneously multi-view consistency and temporal coherence while editing video sequences remains a formidable challenge. This paper proposes a novel face video editing architecture built upon the dynamic face GAN-NeRF structure, which effectively utilizes video sequences to restore the latent code and 3D face geometry. By editing the latent code, multi-view consistent editing on the face can be ensured, as validated by multiview stereo reconstruction on the resulting edited images in our dynamic NeRF. As the estimation of face geometries occurs on a frame-by-frame basis, this may introduce a jittering issue. We propose a stabilizer that maintains temporal coherence by preserving smooth changes of face expressions in consecutive frames. Quantitative and qualitative analyses reveal that our method, as the pioneering 4D face video editor, achieves state-of-the-art performance in comparison to existing 2D or 3D-based approaches independently addressing identity and motion. Codes will be released.