3DFlowRenderer: One-shot Face Re-enactment via Dense 3D Facial Flow Estimation
作者: Siddharth Nijhawan, Takuya Yashima, Tamaki Kojima
分类: cs.CV
发布日期: 2024-04-23
💡 一句话要点
提出3DFlowRenderer以解决面部表情转移的鲁棒性问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 面部表情转移 3D流场 鲁棒性 背景重建 循环变形损失 虚拟现实 人机交互
📋 核心要点
- 现有的面部表情转移技术在极端头部姿态下表现不佳，且背景重建不够真实。
- 本文提出了一种结合2D和3D方法的变形技术，通过生成密集的3D面部流场来实现鲁棒的面部重现。
- 实验结果表明，所提方法在渲染无伪影的面部图像方面显著优于现有最先进技术。
📝 摘要（中文）
在一-shot设置下进行面部表情转移的研究日益受到关注，尤其是在精确控制表情方面。现有技术在感知表情方面表现出色，但在极端头部姿态下缺乏鲁棒性，同时在背景细节重建上也存在困难，影响了真实感。本文提出了一种新颖的变形技术，结合了2D和3D方法的优点，实现了鲁棒的面部重现。我们在特征空间中生成密集的3D面部流场，以根据目标表情对输入图像进行变形，而无需深度信息。这种方法使得在源脸和目标脸不对齐的情况下能够进行明确的3D几何控制。通过提出的“循环变形损失”，我们对3D流预测网络的运动估计能力进行了正则化。我们的框架首先渲染面部前景区域，然后学习填补因源脸转换而产生的空白区域，从而重建详细的背景，避免了不必要的像素运动。大量评估表明，我们的方法在渲染无伪影的面部图像方面优于现有技术。
🔬 方法详解
问题定义：本文旨在解决现有面部表情转移技术在极端头部姿态下的鲁棒性不足及背景重建不真实的问题。现有方法在处理不对齐的源脸和目标脸时，往往无法保持高质量的输出。
核心思路：论文提出了一种新颖的变形技术，通过生成密集的3D面部流场来实现对输入图像的变形，而无需依赖深度信息。这种方法允许对面部几何形状进行明确的3D控制，从而提高了表情转移的精确性和鲁棒性。
技术框架：整体架构包括三个主要模块：首先生成3D面部流场，其次通过“循环变形损失”正则化运动估计，最后渲染面部前景并进行背景填充。
关键创新：最重要的技术创新在于提出的“循环变形损失”，该损失函数通过将变形后的3D特征转换回2D RGB空间，增强了3D流预测网络的运动估计能力。这一创新使得面部表情转移在不对齐情况下依然能够保持高质量输出。
关键设计：在网络结构上，采用了特征空间中的密集3D流场生成方法，并通过正则化损失函数来优化运动估计。此外，框架设计中强调了先渲染面部前景区域，再进行背景填充的策略，以避免不必要的像素运动。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在渲染无伪影的面部图像方面显著优于现有技术，具体性能提升幅度达到XX%（具体数据未知）。通过与当前最先进技术的对比，验证了该方法在极端头部姿态下的鲁棒性和背景重建的真实感。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在虚拟现实、电影特效、社交媒体和在线游戏等领域。通过实现高质量的面部表情转移，能够提升用户体验和交互的真实感。此外，该技术也可能在心理治疗和人机交互中发挥重要作用，帮助改善情感表达和理解。
📄 摘要（原文）
Performing facial expression transfer under one-shot setting has been increasing in popularity among research community with a focus on precise control of expressions. Existing techniques showcase compelling results in perceiving expressions, but they lack robustness with extreme head poses. They also struggle to accurately reconstruct background details, thus hindering the realism. In this paper, we propose a novel warping technology which integrates the advantages of both 2D and 3D methods to achieve robust face re-enactment. We generate dense 3D facial flow fields in feature space to warp an input image based on target expressions without depth information. This enables explicit 3D geometric control for re-enacting misaligned source and target faces. We regularize the motion estimation capability of the 3D flow prediction network through proposed "Cyclic warp loss" by converting warped 3D features back into 2D RGB space. To ensure the generation of finer facial region with natural-background, our framework only renders the facial foreground region first and learns to inpaint the blank area which needs to be filled due to source face translation, thus reconstructing the detailed background without any unwanted pixel motion. Extensive evaluation reveals that our method outperforms state-of-the-art techniques in rendering artifact-free facial images.