GarmentSketch: Large-scale Sketch-to-Fashion Benchmark

📄 arXiv: 2606.14025v1 📥 PDF

作者: Duong-Duy-Khang Bui, Minh-Tan Pham, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

分类: cs.CV

发布日期: 2026-06-12

备注: ICCCI 2026. Project page: https://khangbdd.github.io/garmentsketch

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GarmentSketch数据集以解决时尚草图生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时尚草图 数据集 生成模型 多模态学习 文本到图像生成 人机协作 计算机视觉

📋 核心要点

  1. 现有的草图基础时尚图像合成方法缺乏大规模、高质量的配对数据集，限制了研究进展。
  2. 本文提出GarmentSketch数据集，包含26,249幅时尚草图及其详细文本描述，旨在填补这一空白。
  3. 实验结果表明，GarmentSketch为草图引导的文本到图像生成提供了基线性能，揭示了现有方法的局限性。

📝 摘要（中文）

时尚草图是设计工作流程的重要组成部分，能够快速可视化创意概念。然而，草图基础的时尚图像合成进展受到缺乏大规模高质量配对资源的限制。为此，本文提出了GarmentSketch，一个包含26,249幅时尚草图和21个服装类别的创新数据集，每幅草图都配有详细的文本描述。通过多阶段流程，结合多模态大型语言模型与人类反馈，确保了语义准确性和描述丰富性。我们在最先进的生成模型上对GarmentSketch进行了基准测试，为草图引导的文本到图像生成提供了基线性能。实验结果揭示了现有方法的潜力与局限性。GarmentSketch为推进草图理解、精细时尚图像生成及人机协作设计奠定了基础。

🔬 方法详解

问题定义：本文旨在解决草图基础时尚图像合成中缺乏大规模高质量配对数据集的问题。现有方法在数据资源上存在不足，限制了模型的训练和性能提升。

核心思路：论文提出的核心思路是构建一个包含丰富标注的时尚草图数据集GarmentSketch，通过多模态大型语言模型生成详细文本描述，以确保语义的准确性和描述的丰富性。

技术框架：GarmentSketch的数据生成流程包括多个阶段，首先利用多模态大型语言模型生成初步描述，然后通过人类反馈进行精细化调整，最终形成高质量的配对数据集。

关键创新：该研究的关键创新在于结合了多模态大型语言模型与人类反馈的多阶段描述生成流程，确保了数据集的语义准确性和描述丰富性，这在现有方法中尚属首次。

关键设计：在数据生成过程中，采用了多模态大型语言模型的多轮交互机制，并通过人类反馈进行优化，确保生成的文本描述与草图之间的高匹配度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GarmentSketch在最先进的生成模型上提供了基线性能，揭示了现有方法的潜力与局限性。具体而言，模型在草图引导的文本到图像生成任务中表现出显著的提升，展示了数据集的有效性和实用价值。

🎯 应用场景

GarmentSketch数据集的潜在应用场景包括时尚设计、计算机视觉中的图像生成任务以及人机协作设计等领域。通过提供丰富的草图和文本描述配对，研究人员和设计师可以利用该数据集进行更高效的创意生成与验证，推动时尚行业的数字化转型。

📄 摘要（原文）

Fashion sketching is a cornerstone of design workflows, allowing rapid visualization of creative concepts prior to physical prototyping. Yet, progress in sketch-based fashion image synthesis has been hindered by the absence of large-scale, high-quality paired resources. To bridge this gap, we present GarmentSketch, a novel dataset comprising 26,249 fashion sketches across 21 garment categories, each paired with detailed textual descriptions. Captions were produced through a multi-stage pipeline that integrates multiple multimodal large language models (MLLMs) with human-in-the-loop refinement, ensuring both semantic accuracy and descriptive richness. We benchmark GarmentSketch on state-of-the-art generative models, providing baseline performance for sketch-guided text-to-image generation. Our experiments reveal both the promise and the current limitations of existing methods. By offering a comprehensive and richly annotated resource, GarmentSketch establishes a foundation for advancing sketch understanding, fine-grained fashion image generation, and creative human-AI collaboration in design. The dataset will be available at: https://khangbdd.github.io/garmentsketch.