ConsistentID: Portrait Generation with Multimodal Fine-Grained Identity Preserving

📄 arXiv: 2404.16771v2 📥 PDF

作者: Jiehui Huang, Xiao Dong, Wenhui Song, Zheng Chong, Zhenchao Tang, Jun Zhou, Yuhao Cheng, Long Chen, Hanhui Li, Yiqiang Yan, Shengcai Liao, Xiaodan Liang

分类: cs.CV, cs.AI

发布日期: 2024-04-25 (更新: 2024-12-28)

备注: Project page: https://ssugarwh.github.io/consistentid.github.io/

💡 一句话要点

提出ConsistentID以解决人脸生成中的身份一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 身份一致性 人脸生成 多模态提示 细粒度控制 扩散技术 个性化生成 深度学习

📋 核心要点

  1. 现有方法在细致的身份一致性和面部区域的精细控制方面存在不足，导致生成的人脸图像缺乏真实感。
  2. ConsistentID通过多模态面部提示生成器和身份保留网络，结合细粒度的面部特征和描述，提升了身份一致性的准确性。
  3. 实验结果显示，ConsistentID在MyStyle数据集上实现了卓越的个性化人脸生成精度和多样性，且推理速度较快。

📝 摘要（中文）

基于扩散技术的个性化人脸生成取得了显著进展，但现有方法在高保真和细致的身份一致性方面面临挑战。为了解决这些问题，本文提出了ConsistentID，一种在细粒度多模态面部提示下生成身份保留肖像的创新方法。ConsistentID包括两个关键组件：多模态面部提示生成器和优化的身份保留网络。通过引入细粒度的多模态身份信息，ConsistentID显著提高了身份一致性的准确性。此外，本文还提供了一个包含超过50万张面部图像的细粒度肖像数据集FGID，以支持ConsistentID的训练。实验结果表明，ConsistentID在个性化人脸生成中表现出色，超越了现有方法。

🔬 方法详解

问题定义：现有的个性化人脸生成方法在实现高保真和细致的身份一致性方面存在挑战，主要由于对面部区域的细粒度控制不足以及缺乏全面的身份保留策略。

核心思路：ConsistentID通过引入多模态面部提示生成器和优化的身份保留网络，旨在增强面部细节的精确性和身份一致性。该方法利用单一参考图像，结合面部特征和描述，提升生成效果。

技术框架：ConsistentID的整体架构包括两个主要模块：多模态面部提示生成器和身份保留网络。前者负责生成细粒度的面部提示，后者通过面部注意力定位策略优化身份一致性。

关键创新：ConsistentID的核心创新在于引入细粒度的多模态身份信息，显著提升了身份一致性的准确性。这一设计与现有方法的本质区别在于更全面地考虑了面部细节和整体面部特征。

关键设计：在网络结构上，ConsistentID采用了优化的损失函数，以确保生成图像在细节和身份一致性上的平衡。此外，面部注意力定位策略被应用于身份保留网络，以增强对面部区域的关注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ConsistentID在MyStyle数据集上的个性化人脸生成精度和多样性显著优于现有方法，具体性能数据未提供，但整体提升幅度显著。此外，ConsistentID在生成过程中保持了较快的推理速度，显示出良好的实用性。

🎯 应用场景

ConsistentID的潜在应用领域包括个性化虚拟形象生成、社交媒体头像创建以及游戏角色设计等。其在身份一致性和细节保留方面的优势，使其在需要高保真度人脸生成的场景中具有重要价值，未来可能推动相关领域的进一步发展。

📄 摘要（原文）

Diffusion-based technologies have made significant strides, particularly in personalized and customized facialgeneration. However, existing methods face challenges in achieving high-fidelity and detailed identity (ID)consistency, primarily due to insufficient fine-grained control over facial areas and the lack of a comprehensive strategy for ID preservation by fully considering intricate facial details and the overall face. To address these limitations, we introduce ConsistentID, an innovative method crafted for diverseidentity-preserving portrait generation under fine-grained multimodal facial prompts, utilizing only a single reference image. ConsistentID comprises two key components: a multimodal facial prompt generator that combines facial features, corresponding facial descriptions and the overall facial context to enhance precision in facial details, and an ID-preservation network optimized through the facial attention localization strategy, aimed at preserving ID consistency in facial regions. Together, these components significantly enhance the accuracy of ID preservation by introducing fine-grained multimodal ID information from facial regions. To facilitate training of ConsistentID, we present a fine-grained portrait dataset, FGID, with over 500,000 facial images, offering greater diversity and comprehensiveness than existing public facial datasets. % such as LAION-Face, CelebA, FFHQ, and SFHQ. Experimental results substantiate that our ConsistentID achieves exceptional precision and diversity in personalized facial generation, surpassing existing methods in the MyStyle dataset. Furthermore, while ConsistentID introduces more multimodal ID information, it maintains a fast inference speed during generation.