LUIVITON: Learned Universal Interoperable VIrtual Try-ON

📄 arXiv: 2509.05030v1 📥 PDF

作者: Cong Cao, Xianhang Cheng, Jingyuan Liu, Yujian Zheng, Zhenhui Lin, Meriem Chkir, Hao Li

分类: cs.CV

发布日期: 2025-09-05

💡 一句话要点

LUIVITON：学习的通用互操作虚拟试穿系统，适用于复杂服装和多样化人体

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟试穿 服装覆盖 SMPL模型 几何学习 扩散模型

📋 核心要点

  1. 现有虚拟试穿方法难以处理复杂服装和多样化人体，尤其是在服装与身体的精确对齐方面面临挑战。
  2. LUIVITON将服装覆盖问题分解为服装-SMPL和身体-SMPL两个对应任务，分别使用几何学习和扩散模型解决。
  3. 该系统能够处理复杂几何形状，泛化到各种人形角色，并支持服装尺寸和材质的快速定制，无需人工干预。

📝 摘要（中文）

LUIVITON是一个全自动虚拟试穿端到端系统，能够将复杂的多层服装覆盖到各种姿势的人形角色上。为了解决复杂服装与任意和高度多样化的体型对齐的挑战，我们使用SMPL作为代理表示，并将服装到身体的覆盖问题分解为两个对应任务：1) 服装到SMPL的对应和2) 身体到SMPL的对应，每个任务都有其独特的挑战。我们使用基于几何学习的方法进行服装到SMPL的拟合，以进行部分到完整的形状对应预测。同时，我们引入了一种基于扩散模型的方法，用于身体到SMPL的对应，该方法使用多视图一致的外观特征和预训练的2D基础模型。我们的方法可以处理复杂的几何形状、非流形网格，并有效地推广到各种人形角色——包括人类、机器人、卡通人物、生物和外星人，同时保持计算效率以实现实际应用。除了提供全自动拟合解决方案外，LUIVITON还支持快速定制服装尺寸，允许用户在服装覆盖后调整服装尺寸和材料属性。我们证明了我们的系统可以生成高质量的3D服装拟合，无需任何人工干预，即使没有2D服装缝纫图案。

🔬 方法详解

问题定义：论文旨在解决全自动虚拟试穿中，复杂服装与各种体型和姿势的人形角色精确对齐的问题。现有方法在处理复杂几何形状、非流形网格以及泛化到不同类型的人形角色时存在局限性，并且通常需要人工干预或依赖2D服装缝纫图案。

核心思路：论文的核心思路是将服装到身体的覆盖问题分解为两个独立的对应任务：服装到SMPL的对应和身体到SMPL的对应。通过引入SMPL作为中间表示，简化了服装与身体之间的复杂关系，并针对每个对应任务设计了专门的解决方案。

技术框架：LUIVITON系统包含两个主要模块：服装-SMPL对应模块和身体-SMPL对应模块。服装-SMPL对应模块使用基于几何学习的方法，预测服装形状与SMPL模型之间的对应关系。身体-SMPL对应模块则利用扩散模型，结合多视图一致的外观特征和预训练的2D基础模型，建立身体与SMPL模型之间的对应关系。最后，将两个对应关系结合起来，实现服装在人体上的精确覆盖。

关键创新：该论文的关键创新在于：1) 将服装覆盖问题分解为两个独立的对应任务，简化了问题复杂度；2) 引入扩散模型用于身体-SMPL对应，利用多视图信息和预训练模型提升了对应精度；3) 提出了一种全自动的虚拟试穿方案，无需人工干预或2D服装缝纫图案，并支持服装尺寸和材质的快速定制。

关键设计：在服装-SMPL对应模块中，使用了基于几何学习的方法，具体网络结构和损失函数细节未知。在身体-SMPL对应模块中，使用了扩散模型，并结合了多视图一致的外观特征，具体实现细节未知。此外，该系统还支持服装尺寸和材质的快速定制，具体实现方法未知。

📊 实验亮点

LUIVITON实现了全自动的虚拟试穿，无需人工干预或2D服装缝纫图案。该系统能够处理复杂的几何形状和非流形网格，并泛化到各种人形角色。此外，LUIVITON还支持服装尺寸和材质的快速定制，为用户提供了更加灵活和个性化的试穿体验。具体的性能数据和对比基线未知。

🎯 应用场景

LUIVITON具有广泛的应用前景，包括在线服装零售、游戏角色定制、虚拟形象设计等。该系统可以帮助消费者在线试穿服装，提高购物体验和满意度，减少退货率。同时，该系统也可以用于游戏和虚拟现实应用中，为用户提供更加个性化的角色定制服务。未来，该技术有望应用于更广泛的领域，例如医疗康复、人机交互等。

📄 摘要（原文）

We present LUIVITON, an end-to-end system for fully automated virtual try-on, capable of draping complex, multi-layer clothing onto diverse and arbitrarily posed humanoid characters. To address the challenge of aligning complex garments with arbitrary and highly diverse body shapes, we use SMPL as a proxy representation and separate the clothing-to-body draping problem into two correspondence tasks: 1) clothing-to-SMPL and 2) body-to-SMPL correspondence, where each has its unique challenges. While we address the clothing-to-SMPL fitting problem using a geometric learning-based approach for partial-to-complete shape correspondence prediction, we introduce a diffusion model-based approach for body-to-SMPL correspondence using multi-view consistent appearance features and a pre-trained 2D foundation model. Our method can handle complex geometries, non-manifold meshes, and generalizes effectively to a wide range of humanoid characters -- including humans, robots, cartoon subjects, creatures, and aliens, while maintaining computational efficiency for practical adoption. In addition to offering a fully automatic fitting solution, LUIVITON supports fast customization of clothing size, allowing users to adjust clothing sizes and material properties after they have been draped. We show that our system can produce high-quality 3D clothing fittings without any human labor, even when 2D clothing sewing patterns are not available.