TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation

📄 arXiv: 2403.12906v1 📥 PDF

作者: Yufei Liu, Junwei Zhu, Junshu Tang, Shijie Zhang, Jiangning Zhang, Weijian Cao, Chengjie Wang, Yunsheng Wu, Dongjin Huang

分类: cs.CV

发布日期: 2024-03-19

备注: Project Page: https://ggxxii.github.io/texdreamer/

💡 一句话要点

提出TexDreamer以解决3D人类纹理生成的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D人类纹理生成 零-shot学习 多模态生成 纹理适应 高保真渲染 数据集构建

📋 核心要点

  1. 现有方法在3D人类纹理生成中面临生成速度慢、纹理质量差和文本一致性不足等挑战。
  2. TexDreamer通过高效的纹理适应微调策略，将大型文本到图像模型适配到语义UV结构，解决了现有方法的不足。
  3. 实验表明，TexDreamer能够在几秒内生成高保真的3D人类纹理，且ATLAS数据集为其提供了丰富的训练素材。

📝 摘要（中文）

在3D人类纹理生成中，使用语义UV图进行纹理映射仍然面临挑战，尤其是在合理展开UV的获取上。尽管近期在多视角渲染的文本到3D技术上取得了一定进展，但生成速度、文本一致性和纹理质量等问题依然存在，导致现有数据集的数据稀缺。本文提出了TexDreamer，这是首个零-shot多模态高保真3D人类纹理生成模型。通过高效的纹理适应微调策略，我们将大型文本到图像模型适配到语义UV结构，同时保持其原有的泛化能力。利用新颖的特征转换模块，训练后的模型能够在几秒钟内从文本或图像生成高保真的3D人类纹理。此外，我们还引入了ATLAS，这是最大的高分辨率3D人类纹理数据集，包含5万种高保真纹理及其文本描述。

🔬 方法详解

问题定义：本文旨在解决3D人类纹理生成中的纹理质量、生成速度和文本一致性等问题。现有方法在生成高保真纹理时，往往面临数据稀缺和UV展开困难的挑战。

核心思路：TexDreamer的核心思路是通过高效的纹理适应微调策略，将大型文本到图像模型适配到语义UV结构，从而在保持模型泛化能力的同时，提升纹理生成的质量和速度。

技术框架：TexDreamer的整体架构包括一个大型文本到图像模型、一个纹理适应微调模块和一个特征转换模块。该框架能够接收文本或图像输入，并生成相应的3D人类纹理。

关键创新：TexDreamer的主要创新在于其零-shot生成能力和高效的纹理适应策略，使得模型能够快速生成高保真纹理，而不需要大量的训练数据。与现有方法相比，其在生成速度和纹理质量上有显著提升。

关键设计：在模型设计中，采用了特征转换模块来处理输入的文本和图像，并通过特定的损失函数来优化生成的纹理质量。此外，模型的参数设置经过精心调整，以确保其在多模态输入下的稳定性和高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TexDreamer在生成速度上显著优于现有方法，能够在几秒内生成高保真的3D人类纹理。同时，ATLAS数据集的引入使得模型在多样性和质量上有了质的飞跃，包含5万种高分辨率纹理，极大丰富了训练数据。

🎯 应用场景

TexDreamer在游戏开发、虚拟现实和动画制作等领域具有广泛的应用潜力。通过快速生成高保真的3D人类纹理，该模型能够显著提高内容创作的效率，降低开发成本。此外，ATLAS数据集的发布也为后续研究提供了丰富的资源，推动了3D人类建模技术的发展。

📄 摘要（原文）

Texturing 3D humans with semantic UV maps remains a challenge due to the difficulty of acquiring reasonably unfolded UV. Despite recent text-to-3D advancements in supervising multi-view renderings using large text-to-image (T2I) models, issues persist with generation speed, text consistency, and texture quality, resulting in data scarcity among existing datasets. We present TexDreamer, the first zero-shot multimodal high-fidelity 3D human texture generation model. Utilizing an efficient texture adaptation finetuning strategy, we adapt large T2I model to a semantic UV structure while preserving its original generalization capability. Leveraging a novel feature translator module, the trained model is capable of generating high-fidelity 3D human textures from either text or image within seconds. Furthermore, we introduce ArTicuLated humAn textureS (ATLAS), the largest high-resolution (1024 X 1024) 3D human texture dataset which contains 50k high-fidelity textures with text descriptions.