HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation
作者: Duotun Wang, Hengyu Meng, Zeyu Cai, Zhijing Shao, Qianxi Liu, Lin Wang, Mingming Fan, Xiaohang Zhan, Zeyu Wang
分类: cs.GR, cs.AI
发布日期: 2024-03-14 (更新: 2025-04-30)
备注: 13 pages, 20 figures
💡 一句话要点
提出一种新框架以生成可编辑的文本驱动头像
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 文本到头像 网格变形 可编辑性 3D内容生成 计算机图形学 虚拟形象 艺术创作
📋 核心要点
- 现有的文本到头像方法依赖隐式表示，导致生成的3D内容难以编辑和动画化。
- 本文提出了一种新框架，利用局部可学习的网格变形和2D扩散先验生成可编辑的头像。
- 实验结果显示，该框架生成的头像在多视角下表现出高质量的网格，便于艺术家操作。
📝 摘要（中文）
当前的文本到头像方法通常依赖隐式表示（如NeRF、SDF和DMTet），导致艺术家难以在图形软件中编辑和动画化3D内容。本文提出了一种新颖的框架，通过局部可学习的网格变形和2D扩散先验，从文本指导中生成风格化的头像。该方法利用每个面雅可比矩阵表示网格变形，并通过可学习的向量场自适应调节局部变形，能够在保持顶点旋转的同时实现各向异性缩放，从而更好地表达身份和几何细节。通过地标和轮廓的正则化项，平衡了生成头像的表现力和可信度。实验表明，该框架能够生成多样且富有表现力的头像，艺术家可以轻松操作，促进高效资产创建和动画制作。
🔬 方法详解
问题定义：本文旨在解决现有文本到头像生成方法中，生成的3D内容难以在图形软件中编辑和动画化的问题。现有方法通常依赖隐式表示，缺乏可操作性。
核心思路：提出一种新颖的框架，通过局部可学习的网格变形和2D扩散先验，从文本指导中生成风格化头像。该方法通过可学习的向量场调节局部变形，实现各向异性缩放，同时保持顶点的旋转。
技术框架：整体架构包括模板网格的输入、局部变形的学习、正则化项的应用以及最终生成的头像输出。主要模块包括每面雅可比矩阵的计算和可学习向量场的构建。
关键创新：最重要的技术创新在于引入了可学习的局部变形机制和正则化策略，使得生成的头像在表现力和可信度之间取得平衡，且不依赖于特定的形状先验。
关键设计：设计中使用了地标和轮廓的正则化项，确保生成头像的几何细节和身份特征得到保留，同时采用了适应性调节的损失函数，以优化生成效果。该方法支持对3DMM参数、混合形状和UV坐标的无缝编辑。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架能够生成多样化且富有表现力的头像，生成的高质量网格在多个视角下表现出色。与基线方法相比，生成头像的表现力提升显著，艺术家在图形软件中的操作便捷性也得到了增强。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、动画制作和虚拟现实等，能够为艺术家提供高效的头像生成和编辑工具，降低创作门槛，提升创作效率。未来，该框架可能在个性化虚拟形象和社交媒体应用中发挥重要作用。
📄 摘要（原文）
Current text-to-avatar methods often rely on implicit representations (e.g., NeRF, SDF, and DMTet), leading to 3D content that artists cannot easily edit and animate in graphics software. This paper introduces a novel framework for generating stylized head avatars from text guidance, which leverages locally learnable mesh deformation and 2D diffusion priors to achieve high-quality digital assets for attribute-preserving manipulation. Given a template mesh, our method represents mesh deformation with per-face Jacobians and adaptively modulates local deformation using a learnable vector field. This vector field enables anisotropic scaling while preserving the rotation of vertices, which can better express identity and geometric details. We employ landmark- and contour-based regularization terms to balance the expressiveness and plausibility of generated avatars from multiple views without relying on any specific shape prior. Our framework can generate realistic shapes and textures that can be further edited via text, while supporting seamless editing using the preserved attributes from the template mesh, such as 3DMM parameters, blendshapes, and UV coordinates. Extensive experiments demonstrate that our framework can generate diverse and expressive head avatars with high-quality meshes that artists can easily manipulate in graphics software, facilitating downstream applications such as efficient asset creation and animation with preserved attributes.