GarmentWeaver: Schema-Aware Structured Synthesis for Multimodal Sewing Patterns
作者: Yinwen Lu, Weihao Luo, Yueqi Zhong
分类: cs.AI, cs.CV
发布日期: 2026-08-31
备注: 10 pages, 7 figures
💡 一句话要点
提出GarmentWeaver以解决多模态缝纫图案生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 缝纫图案 层次结构 模式感知 可执行性 仿真兼容性 视觉-语言模型
📋 核心要点
- 现有方法将服装规格建模为平坦的长序列，导致冗余组件和不准确的局部细节，影响仿真兼容性。
- GarmentWeaver通过激活结构分支构建层次目标，以结构化方式生成可执行的缝纫图案，提升了生成质量。
- 实验结果显示，GarmentWeaver在准确性和可执行性上优于强基线，并且仿真效果更佳，验证了方法的有效性。
📝 摘要（中文）
多模态缝纫图案生成旨在从设计线索（如草图和文本描述）推导出可执行的缝纫图案。作为一种可解释且兼容仿真的表示，缝纫图案在数字服装创作中尤为重要。然而，现有方法通常将服装规格建模为平坦的长序列，这使得服装结构与详细参数交织在一起，导致冗余组件、不准确的局部细节和较差的仿真兼容性。本文提出了GarmentWeaver，一个基于模式的多模态缝纫图案生成框架。GarmentWeaver通过激活与服装相关的结构分支构建紧凑的层次目标，并以结构化的方式预测可执行的缝纫图案。我们引入了一种模式感知的目标构建策略，在预训练的视觉-语言模型上构建生成器，并施加可行性感知的正则化，以鼓励结构有效且兼容仿真的输出。大量实验表明，GarmentWeaver生成的缝纫图案比强基线更准确且更具可执行性，同时也产生了更好的仿真结果。这些发现展示了模式感知结构生成在可靠的多模态缝纫图案预测中的有效性。
🔬 方法详解
问题定义：本论文旨在解决多模态缝纫图案生成中的结构与参数交织问题，现有方法导致生成的图案冗余且不准确，仿真兼容性差。
核心思路：GarmentWeaver通过构建层次化的目标结构，激活与服装相关的结构分支，从而以更有条理的方式生成缝纫图案，确保生成结果的可执行性和仿真兼容性。
技术框架：该框架包括三个主要模块：模式感知目标构建、基于预训练视觉-语言模型的生成器和可行性感知正则化。首先，构建层次目标以指导生成；其次，利用预训练模型进行多模态理解；最后，通过正则化确保输出的结构有效性。
关键创新：最重要的创新在于模式感知的目标构建策略和可行性感知的正则化，这与现有方法的平坦序列建模形成鲜明对比，显著提升了生成的准确性和可执行性。
关键设计：在设计中，采用了层次化的目标构建方式，并结合了预训练模型的特征提取能力，同时在损失函数中引入了可行性约束，以确保生成的缝纫图案在结构上有效且适合仿真。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GarmentWeaver生成的缝纫图案在准确性和可执行性上均优于现有强基线，具体而言，准确性提升了XX%，可执行性提升了YY%。此外，仿真效果也显著改善，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括数字服装设计、虚拟试衣间和个性化服装定制等。通过提供更准确和可执行的缝纫图案，GarmentWeaver能够提升设计师的工作效率，并推动数字时尚行业的发展。未来，该技术可能在自动化服装生产和个性化时尚推荐中发挥重要作用。
📄 摘要（原文）
Multimodal Sewing pattern generation aims to infer executable sewing patterns from design cues such as sketches and textual descriptions. As an interpretable and simulation-compatible representation, sewing patterns are particularly valuable for digital garment creation. However, existing methods often model garment specifications as flat long sequences, which entangles garment structure with detailed parameters and leads to redundant components, inaccurate local details, and poor simulation compatibility. In this paper, we present GarmentWeaver, a schema-aware framework for multimodal Sewing pattern generation. GarmentWeaver constructs compact hierarchical targets by activating garment-relevant structural branches and predicts executable Sewing patterns in a structured manner. Specifically, we introduce a schema-aware target construction strategy, build the generator on top of a pretrained vision-language model for multimodal garment understanding, and impose feasibility-aware regularization to encourage structurally valid and simulation-compatible outputs. Extensive experiments show that GarmentWeaver produces more accurate and more executable sewing patterns than strong baselines, while also yielding better simulation results. These findings demonstrate the effectiveness of schema-aware structured generation for reliable multimodal Sewing pattern prediction.