DivAvatar: Diverse 3D Avatar Generation with a Single Prompt

📄 arXiv: 2402.17292v1 📥 PDF

作者: Weijing Tao, Biwen Lei, Kunhao Liu, Shijian Lu, Miaomiao Cui, Xuansong Xie, Chunyan Miao

分类: cs.CV

发布日期: 2024-02-27

💡 一句话要点

提出DivAvatar以解决3D头像生成多样性不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D头像生成 文本到图像 生成模型 多样性 视觉质量 深度学习 计算机视觉

📋 核心要点

  1. 现有的文本到头像生成方法在多样性方面存在不足，生成的头像往往外观差异微小。
  2. DivAvatar通过微调3D生成模型EVA3D，结合噪声采样和语义感知缩放机制，实现多样化头像生成。
  3. 实验结果显示，DivAvatar在生成多样化外观方面表现出色，显著提升了视觉质量和几何精度。

📝 摘要（中文）

文本到头像生成在扩散模型的推动下取得了显著进展。然而，现有方法在多样性方面仍然受到限制，生成的头像在外观上差异微小。为此，本文设计了DivAvatar，一个新颖的框架，能够从单一文本提示生成多种独特且丰富多彩的3D头像。与大多数利用场景特定3D表示（如NeRF）的方法不同，DivAvatar通过微调3D生成模型（即EVA3D），允许在推理时通过噪声采样实现多样化头像生成。DivAvatar的两个关键设计分别是训练阶段的噪声采样技术和语义感知缩放机制，以及新颖的深度损失函数，前者在生成多样化外观方面至关重要，后者通过平滑特征空间中的生成网格显著提高几何质量。大量实验表明，DivAvatar在生成多样化外观的头像方面具有高度的灵活性。

🔬 方法详解

问题定义：本文旨在解决现有文本到头像生成方法在多样性和视觉质量上的不足，现有方法生成的头像往往缺乏明显的外观差异，限制了创作的灵活性。

核心思路：DivAvatar的核心思想是通过微调3D生成模型EVA3D，结合噪声采样和语义感知缩放机制，从而实现从单一文本提示生成多样化的3D头像。这样的设计使得生成过程不仅依赖于场景特定的3D表示，还能在推理时通过噪声采样实现多样性。

技术框架：DivAvatar的整体架构包括两个主要模块：训练阶段的噪声采样技术和推理阶段的语义感知缩放机制。训练阶段通过引入噪声采样来增强生成多样性的能力，而推理阶段则通过对特定身体部位的单独微调来提高生成头像的文本保真度。

关键创新：DivAvatar的主要创新在于其噪声采样技术和深度损失函数的结合，前者在生成多样化外观方面至关重要，后者通过平滑生成网格的特征空间显著提高了几何质量。这与现有方法依赖于固定的3D表示形成了鲜明对比。

关键设计：在设计上，DivAvatar采用了语义感知缩放机制，允许对特定身体部位进行独立微调。此外，深度损失函数的引入有效地改善了生成网格的几何质量，确保了生成头像的视觉效果和结构完整性。通过这些设计，DivAvatar在多样性和质量上均有显著提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DivAvatar在生成多样化外观方面表现优异，相较于基线方法，生成的头像在视觉质量和几何精度上均有显著提升。具体而言，生成的头像在外观多样性上提高了XX%，并在几何质量评估中获得了更高的评分，展示了该方法的有效性和创新性。

🎯 应用场景

DivAvatar的研究成果在多个领域具有广泛的应用潜力，包括游戏开发、虚拟现实、社交媒体和数字艺术创作等。通过提供多样化的3D头像生成能力，该框架能够为3D创作者提供更多的创作灵感和选择，推动数字内容的个性化和多样化发展。未来，DivAvatar可能会在虚拟角色设计和个性化数字身份方面发挥重要作用。

📄 摘要（原文）

Text-to-Avatar generation has recently made significant strides due to advancements in diffusion models. However, most existing work remains constrained by limited diversity, producing avatars with subtle differences in appearance for a given text prompt. We design DivAvatar, a novel framework that generates diverse avatars, empowering 3D creatives with a multitude of distinct and richly varied 3D avatars from a single text prompt. Different from most existing work that exploits scene-specific 3D representations such as NeRF, DivAvatar finetunes a 3D generative model (i.e., EVA3D), allowing diverse avatar generation from simply noise sampling in inference time. DivAvatar has two key designs that help achieve generation diversity and visual quality. The first is a noise sampling technique during training phase which is critical in generating diverse appearances. The second is a semantic-aware zoom mechanism and a novel depth loss, the former producing appearances of high textual fidelity by separate fine-tuning of specific body parts and the latter improving geometry quality greatly by smoothing the generated mesh in the features space. Extensive experiments show that DivAvatar is highly versatile in generating avatars of diverse appearances.