Stitched Embeddings: A Unified Latent Space for 3D Garments and 2D Patterns
作者: Andrea Sanchietti, Riccardo Marin, Bharat Lal Bhatnagar, Yuanlu Xu, Gerard Pons-Moll
分类: cs.CV
发布日期: 2026-07-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Stitched Embeddings以解决3D服装与2D图案建模问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D服装建模 2D图案推断 无模拟框架 双向潜在空间 BoxMesh 数字服装设计 虚拟试衣间
📋 核心要点
- 现有方法在将2D缝纫图案与3D服装几何形状结合时，通常依赖物理模拟，导致效率低下和数据稀缺问题。
- 论文提出Stitched Embeddings框架，通过双向潜在空间将3D服装重建与2D图案推断结合，避免了物理模拟的复杂性。
- 该方法在图案重建精度上达到了最先进水平，并显著提高了效率，支持从网格恢复图案和3D编辑等新应用。
📝 摘要（中文）
服装对于逼真的数字人类至关重要，但其拓扑多样性使得建模比参数化身体更为复杂。传统的裁剪依赖于2D缝纫图案，但将这些图案与3D几何形状连接起来通常需要物理模拟。我们提出Stitched Embeddings，这是第一个无模拟的框架，将3D服装重建与缝纫图案推断统一在一个双向潜在空间中。通过利用预训练的3D基础模型的几何先验，我们的方法克服了高质量服装建模中通常存在的数据稀缺问题。我们提出使用BoxMesh作为关键中间表示，以在没有模拟器计算开销的情况下将2D面板对齐到3D配置。该架构在图案重建中实现了最先进的准确性，同时显著提高了效率。此外，我们的可微分管道支持新颖的应用，包括从网格恢复图案和从2D图案进行3D编辑。最后，这项工作为神经3D视觉与物理服装制造管道之间提供了可扩展的连接。
🔬 方法详解
问题定义：本论文旨在解决将2D缝纫图案与3D服装几何形状结合的问题。现有方法依赖物理模拟，导致效率低下和数据稀缺，限制了高质量服装建模的应用。
核心思路：论文的核心思路是提出Stitched Embeddings框架，通过构建一个双向潜在空间，将3D服装重建与2D图案推断统一起来，从而避免物理模拟的复杂性和计算开销。
技术框架：整体架构包括一个预训练的3D基础模型和BoxMesh作为关键中间表示。该框架通过对齐2D面板到3D配置，实现了高效的图案重建和推断。
关键创新：最重要的技术创新点在于提出了无模拟的Stitched Embeddings框架，利用双向潜在空间有效地连接了2D和3D模型，显著提高了建模效率和准确性。
关键设计：在设计中，BoxMesh作为中间表示起到了关键作用，此外，采用了可微分的管道设计，使得模型能够支持从网格恢复图案和进行3D编辑等新颖应用。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在实验中，Stitched Embeddings框架在图案重建的准确性上达到了最先进的水平，相较于传统方法，效率显著提高，具体性能数据在论文中进行了详细对比，展示了其在实际应用中的优势。
🎯 应用场景
该研究的潜在应用领域包括数字服装设计、虚拟试衣间、游戏角色建模等。通过提供高效的3D服装建模与2D图案推断的解决方案，能够显著提升数字人类的真实感和交互体验，推动服装行业的数字化转型。
📄 摘要（原文）
While garments are essential for realistic digital humans, their topological variety makes them much harder to model than parametric bodies. Traditional tailoring relies on 2D sewing patterns, yet bridging these patterns to 3D geometry currently requires physical simulations. We present Stitched Embeddings, the first simulation-free framework to unify 3D garment reconstruction and sewing pattern inference within a single bidirectional latent space. By leveraging the geometric priors of a pretrained 3D foundation model, our approach overcomes the data scarcity typically associated with high-quality garment modeling. We propose to use the BoxMesh as a critical intermediate representation to align 2D panels into 3D configurations without the computational overhead of a simulator. This architecture achieves state-of-the-art accuracy in pattern reconstruction while significantly improving efficiency. Furthermore, our differentiable pipeline enables novel applications, including pattern recovery from meshes and 3D editing from 2D patterns. Finally, this work provides a scalable link between neural 3D vision and the physical garment manufacturing pipeline. Project Page: https://andreus00.github.io/stitchedembeddings