VITON-DRR: Details Retention Virtual Try-on via Non-rigid Registration

📄 arXiv: 2505.23439v1 📥 PDF

作者: Ben Li, Minqi Li, Jie Ren, Kaibing Zhang

分类: cs.CV

发布日期: 2025-05-29

备注: 31 pages, 12 figures, Accepted by Computers & Graphics

💡 一句话要点

提出VITON-DRR以解决虚拟试衣中细节保留问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 虚拟试衣 非刚性配准 细节保留 图像合成 深度学习 特征提取 电子商务 时尚行业

📋 核心要点

  1. 现有虚拟试衣方法在服装细节保留方面存在不足，尤其是在自遮挡和姿态错位情况下，容易产生不真实的效果。
  2. 本文提出的VITON-DRR方法通过准确的非刚性配准，结合双金字塔结构的特征提取器，有效提取服装关键点并进行变形。
  3. 实验结果显示，VITON-DRR在保留服装细节和准确性方面优于现有的最先进方法，提升了虚拟试衣的效果。

📝 摘要（中文）

基于图像的虚拟试衣旨在将目标服装适配到特定的人物图像，因其在电子商务和时尚行业的巨大应用潜力而受到广泛关注。为了生成高质量的试衣效果，准确地将服装变形以适应人体至关重要，因为轻微的错位可能导致不真实的伪影。现有方法通常通过特征匹配和薄板样条（TPS）进行服装变形，但在自遮挡和姿态严重错位等情况下，往往无法保留服装细节。为了解决这些挑战，本文提出了一种通过准确的非刚性配准实现细节保留的虚拟试衣方法（VITON-DRR），适用于多样化的人体姿态。具体而言，我们使用双金字塔结构的特征提取器重建人体语义分割，然后设计了一个新颖的变形模块，用于提取服装关键点并通过准确的非刚性配准算法进行变形。最后，设计了图像合成模块，以自适应地合成变形后的服装图像并生成人体姿态信息。与传统方法相比，VITON-DRR能够更准确地进行图像变形并保留更多服装细节。实验结果表明，所提出的方法优于现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决虚拟试衣中服装细节保留不足的问题，现有方法在自遮挡和姿态错位情况下表现不佳，导致生成的试衣效果不真实。

核心思路：提出VITON-DRR方法，通过准确的非刚性配准技术，结合双金字塔结构的特征提取器，提取服装关键点并进行精确变形，从而保留更多的服装细节。

技术框架：整体架构包括三个主要模块：1) 人体语义分割模块，使用双金字塔结构提取特征；2) 变形模块，通过非刚性配准提取服装关键点并进行变形；3) 图像合成模块，自适应生成变形后的服装图像和人体姿态信息。

关键创新：最重要的创新在于引入了准确的非刚性配准算法，使得服装变形更加精确，显著提升了细节保留能力，与传统方法相比具有本质区别。

关键设计：在设计中，采用了双金字塔结构的特征提取器以增强特征表达能力，同时在变形模块中设计了专门的损失函数，以优化变形效果和细节保留。网络结构经过精心调整，以确保在多样化姿态下的稳定性和准确性。

📊 实验亮点

实验结果表明，VITON-DRR在细节保留和变形准确性方面显著优于现有最先进方法，具体性能提升幅度达到XX%（具体数据待补充），有效减少了伪影的产生，提升了用户体验。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在电子商务和时尚行业中，可以为用户提供更真实的虚拟试衣体验，帮助消费者在购买前更好地评估服装的适合度。未来，该技术还可以扩展到其他领域，如虚拟现实和增强现实中的服装展示，提升用户的沉浸感和互动性。

📄 摘要（原文）

Image-based virtual try-on aims to fit a target garment to a specific person image and has attracted extensive research attention because of its huge application potential in the e-commerce and fashion industries. To generate high-quality try-on results, accurately warping the clothing item to fit the human body plays a significant role, as slight misalignment may lead to unrealistic artifacts in the fitting image. Most existing methods warp the clothing by feature matching and thin-plate spline (TPS). However, it often fails to preserve clothing details due to self-occlusion, severe misalignment between poses, etc. To address these challenges, this paper proposes a detail retention virtual try-on method via accurate non-rigid registration (VITON-DRR) for diverse human poses. Specifically, we reconstruct a human semantic segmentation using a dual-pyramid-structured feature extractor. Then, a novel Deformation Module is designed for extracting the cloth key points and warping them through an accurate non-rigid registration algorithm. Finally, the Image Synthesis Module is designed to synthesize the deformed garment image and generate the human pose information adaptively. {Compared with} traditional methods, the proposed VITON-DRR can make the deformation of fitting images more accurate and retain more garment details. The experimental results demonstrate that the proposed method performs better than state-of-the-art methods.