AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text

📄 arXiv: 2311.17917v1 📥 PDF

作者: Jianfeng Zhang, Xuanmeng Zhang, Huichao Zhang, Jun Hao Liew, Chenxu Zhang, Yi Yang, Jiashi Feng

分类: cs.GR, cs.CV

发布日期: 2023-11-29

备注: Project page at http://jeff95.me/projects/avatarstudio.html

💡 一句话要点

提出AvatarStudio以解决高保真可动画3D头像生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D头像生成 文本到图像 可动画模型 NeRF SMPL 扩散模型 计算机视觉 虚拟现实

📋 核心要点

  1. 现有的文本到头像生成方法通常只能生成静态头像，缺乏动画能力，且在质量和姿态控制上存在不足。
  2. AvatarStudio通过粗到细的生成模型，结合NeRF和SMPL，引入了可动画的3D网格生成方法，提升了生成质量和动画能力。
  3. 实验结果表明，AvatarStudio在生成高质量可动画头像方面显著优于现有方法，适用于多模态动画和风格引导头像创建等应用。

📝 摘要（中文）

本研究探讨了仅通过文本描述创建高保真且可动画的3D头像的问题。现有的文本到头像方法要么仅限于静态头像，无法进行动画，要么在生成可动画头像时质量和姿态控制方面存在困难。为了解决这些局限性，我们提出了AvatarStudio，这是一种粗到细的生成模型，能够生成明确的纹理3D网格以支持可动画的人类头像。AvatarStudio首先使用基于NeRF的低分辨率表示进行粗略生成，然后结合SMPL引导的关节化来支持头像动画和高分辨率渲染。为确保生成头像的视图一致性和姿态可控性，我们引入了基于DensePose的2D扩散模型进行评分蒸馏采样监督。通过有效利用关节化网格表示与DensePose条件扩散模型之间的协同作用，AvatarStudio能够从文本中创建高质量的可动画头像，显著优于之前的方法。

🔬 方法详解

问题定义：本论文旨在解决从文本描述生成高保真且可动画的3D头像的挑战。现有方法往往只能生成静态头像，缺乏动画能力，且在生成质量和姿态控制上存在明显不足。

核心思路：AvatarStudio的核心思路是采用粗到细的生成策略，首先生成低分辨率的3D表示，然后通过引入SMPL模型进行关节化，确保生成头像的动画能力和高分辨率渲染。

技术框架：AvatarStudio的整体架构包括两个主要阶段：第一阶段使用基于NeRF的低分辨率表示进行粗略生成，第二阶段则结合SMPL引导的关节化来生成明确的纹理3D网格，并引入DensePose条件的2D扩散模型进行监督。

关键创新：AvatarStudio的关键创新在于将关节化网格表示与DensePose条件扩散模型相结合，形成了一种新的生成方法，显著提升了生成头像的质量和动画能力，与现有方法相比具有本质区别。

关键设计：在技术细节上，AvatarStudio采用了特定的损失函数来优化生成质量，并设计了适应性强的网络结构，以确保生成头像在不同视角下的一致性和姿态的可控性。通过这些设计，AvatarStudio能够有效生成高质量的可动画头像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AvatarStudio在生成可动画头像的质量上显著优于现有方法，具体性能提升幅度达到了XX%（具体数据待补充），并且在姿态控制和视图一致性方面表现出色，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发、社交媒体等，能够为用户提供个性化的3D头像创建和动画体验。未来，AvatarStudio有望在多模态交互和虚拟角色生成等方面发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

We study the problem of creating high-fidelity and animatable 3D avatars from only textual descriptions. Existing text-to-avatar methods are either limited to static avatars which cannot be animated or struggle to generate animatable avatars with promising quality and precise pose control. To address these limitations, we propose AvatarStudio, a coarse-to-fine generative model that generates explicit textured 3D meshes for animatable human avatars. Specifically, AvatarStudio begins with a low-resolution NeRF-based representation for coarse generation, followed by incorporating SMPL-guided articulation into the explicit mesh representation to support avatar animation and high resolution rendering. To ensure view consistency and pose controllability of the resulting avatars, we introduce a 2D diffusion model conditioned on DensePose for Score Distillation Sampling supervision. By effectively leveraging the synergy between the articulated mesh representation and the DensePose-conditional diffusion model, AvatarStudio can create high-quality avatars from text that are ready for animation, significantly outperforming previous methods. Moreover, it is competent for many applications, e.g., multimodal avatar animations and style-guided avatar creation. For more results, please refer to our project page: http://jeff95.me/projects/avatarstudio.html