Dress-Me-Up: A Dataset & Method for Self-Supervised 3D Garment Retargeting
作者: Shanthika Naik, Kunwar Singh, Astitva Srivastava, Dhawal Sirikonda, Amit Raj, Varun Jampani, Avinash Sharma
分类: cs.CV
发布日期: 2024-01-06
💡 一句话要点
提出自监督框架以解决非参数化3D服装重定向问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 3D服装重定向 自监督学习 虚拟试穿 非参数化模型 计算机视觉 深度学习
📋 核心要点
- 现有自监督3D重定向方法仅支持参数化服装，无法处理非参数化服装，限制了应用场景。
- 本文提出了一种基于Isomap嵌入的对应匹配方法，实现粗略对齐，并在自监督环境中进行细化。
- 实验结果表明，本文方法在非参数化服装重定向上优于现有最先进方法，建立了新的基线。
📝 摘要（中文）
本文提出了一种新颖的自监督框架，用于将非参数化3D服装重定向到任意形状和姿势的3D人类头像上，从而实现3D虚拟试穿（VTON）。现有的自监督3D重定向方法仅支持参数化和规范化服装，无法适应非参数化服装和身体。为此，本文引入了基于Isomap嵌入的对应匹配方法，以实现服装与人类身体之间的粗略对齐，并在自监督环境中进行神经细化。此外，采用拉普拉斯细节集成方法以保留输入服装的固有细节。为评估该框架，本文还提出了一个包含255件真实服装的数据集，展示了在非参数化服装和人类头像上的优越重定向质量。
🔬 方法详解
问题定义：本文旨在解决非参数化3D服装重定向到任意形状和姿势的3D人类头像的问题。现有方法仅支持参数化服装，无法适应多样化的服装和人体形状，限制了虚拟试穿的应用。
核心思路：论文提出了一种基于Isomap嵌入的对应匹配方法，以实现服装与人类身体之间的粗略对齐。通过自监督学习，进一步对粗略对齐进行神经细化，从而提高重定向的精度和质量。
技术框架：整体框架包括两个主要阶段：首先，通过Isomap嵌入进行粗略对齐；其次，在自监督设置下进行神经细化。同时，采用拉普拉斯细节集成方法来保留服装的细节。
关键创新：本文的主要创新在于引入了Isomap嵌入的对应匹配方法，使得非参数化服装能够与任意形状的人体进行有效重定向。这一方法与现有的参数化方法在适用性上有本质区别。
关键设计：在技术细节上，采用了特定的损失函数来优化对齐效果，并设计了适合非参数化服装的网络结构，以确保细节的保留和重定向的准确性。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在非参数化服装重定向上优于现有最先进的方法，具体性能提升幅度达到XX%（具体数据需根据实验结果填写），并在提出的数据集上建立了首个基线，为后续研究提供了重要参考。
🎯 应用场景
该研究的潜在应用领域包括虚拟试衣间、在线购物平台和游戏开发等。通过实现高质量的3D服装重定向，用户可以在虚拟环境中更真实地体验服装效果，提升购物体验。此外，该技术也可用于动画制作和虚拟现实等领域，具有广泛的实际价值和未来影响。
📄 摘要（原文）
We propose a novel self-supervised framework for retargeting non-parameterized 3D garments onto 3D human avatars of arbitrary shapes and poses, enabling 3D virtual try-on (VTON). Existing self-supervised 3D retargeting methods only support parametric and canonical garments, which can only be draped over parametric body, e.g. SMPL. To facilitate the non-parametric garments and body, we propose a novel method that introduces Isomap Embedding based correspondences matching between the garment and the human body to get a coarse alignment between the two meshes. We perform neural refinement of the coarse alignment in a self-supervised setting. Further, we leverage a Laplacian detail integration method for preserving the inherent details of the input garment. For evaluating our 3D non-parametric garment retargeting framework, we propose a dataset of 255 real-world garments with realistic noise and topological deformations. The dataset contains $44$ unique garments worn by 15 different subjects in 5 distinctive poses, captured using a multi-view RGBD capture setup. We show superior retargeting quality on non-parametric garments and human avatars over existing state-of-the-art methods, acting as the first-ever baseline on the proposed dataset for non-parametric 3D garment retargeting.