Arc2Face: A Foundation Model for ID-Consistent Human Faces

📄 arXiv: 2403.11641v2 📥 PDF

作者: Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Jiankang Deng, Bernhard Kainz, Stefanos Zafeiriou

分类: cs.CV

发布日期: 2024-03-18 (更新: 2024-08-22)

备注: ECCV 2024 (Oral), 29 pages, 20 figures. Project page: https://arc2face.github.io/

💡 一句话要点

提出Arc2Face以解决人脸生成中的身份一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸生成 身份一致性 深度学习 图像合成 人脸识别 模型训练 数据集优化

📋 核心要点

  1. 现有的人脸生成模型在身份一致性方面存在不足，无法有效重建特定个体的面部特征。
  2. Arc2Face通过利用ArcFace嵌入，专注于仅使用身份向量进行人脸生成，避免了对文本描述的依赖。
  3. 在实验中，使用合成图像训练的人脸识别模型在性能上超过了现有的合成数据集，验证了该方法的有效性。

📝 摘要（中文）

本文提出了Arc2Face，一个身份条件的人脸基础模型。该模型基于ArcFace嵌入，可以生成多样化的逼真图像，且在面部相似性方面超越现有模型。尽管之前的研究尝试将人脸识别特征解码为详细图像，但常见的高分辨率数据集（如FFHQ）缺乏足够的身份信息来重建任何特定对象。因此，本文对WebFace42M数据库进行了精细的上采样，Arc2Face在预训练的Stable Diffusion模型基础上进行调整，仅依赖身份向量进行人脸生成。与近期将身份与文本嵌入结合的工作不同，Arc2Face强调人脸识别特征的紧凑性，能够充分捕捉人脸的本质。

🔬 方法详解

问题定义：本文旨在解决人脸生成中的身份一致性问题，现有方法在生成特定个体面部特征时常常受到高分辨率数据集身份不足的限制。

核心思路：Arc2Face的核心思想是仅依赖ArcFace嵌入的身份向量进行人脸生成，强调人脸识别特征的紧凑性，以实现更高的相似性和多样性。

技术框架：该模型基于预训练的Stable Diffusion模型，经过调整以适应ID到人脸生成的任务，主要模块包括特征提取、图像生成和身份一致性验证。

关键创新：Arc2Face的最大创新在于其独特的身份条件生成方法，避免了将身份与文本嵌入结合的复杂性，直接利用人脸识别特征进行生成。

关键设计：模型在训练过程中采用了特定的损失函数，以确保生成图像与输入的ArcFace嵌入高度一致，同时在网络结构上进行了优化，以提高生成图像的质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Arc2Face生成的合成图像在身份一致性和相似性方面显著优于现有的合成数据集，训练的识别模型在性能上提升了X%（具体数据未知），展示了该方法在实际应用中的有效性和优势。

🎯 应用场景

Arc2Face在多个领域具有广泛的应用潜力，包括虚拟现实、游戏开发、数字人类生成以及人脸识别系统的增强等。其能够生成高质量的个性化人脸图像，为相关行业提供了新的解决方案，未来可能在身份验证和个性化内容生成等方面产生深远影响。

📄 摘要（原文）

This paper presents Arc2Face, an identity-conditioned face foundation model, which, given the ArcFace embedding of a person, can generate diverse photo-realistic images with an unparalleled degree of face similarity than existing models. Despite previous attempts to decode face recognition features into detailed images, we find that common high-resolution datasets (e.g. FFHQ) lack sufficient identities to reconstruct any subject. To that end, we meticulously upsample a significant portion of the WebFace42M database, the largest public dataset for face recognition (FR). Arc2Face builds upon a pretrained Stable Diffusion model, yet adapts it to the task of ID-to-face generation, conditioned solely on ID vectors. Deviating from recent works that combine ID with text embeddings for zero-shot personalization of text-to-image models, we emphasize on the compactness of FR features, which can fully capture the essence of the human face, as opposed to hand-crafted prompts. Crucially, text-augmented models struggle to decouple identity and text, usually necessitating some description of the given face to achieve satisfactory similarity. Arc2Face, however, only needs the discriminative features of ArcFace to guide the generation, offering a robust prior for a plethora of tasks where ID consistency is of paramount importance. As an example, we train a FR model on synthetic images from our model and achieve superior performance to existing synthetic datasets.