GenCAD-3D: CAD Program Generation using Multimodal Latent Space Alignment and Synthetic Dataset Balancing

📄 arXiv: 2509.15246v1 📥 PDF

作者: Nomi Yu, Md Ferdous Alam, A. John Hart, Faez Ahmed

分类: cs.GR, cs.AI

发布日期: 2025-09-17

备注: 9 figures, 15 pages. Accepted and soon published in the ASME Journal of Mechanical Design

DOI: 10.1115/1.4069276

💡 一句话要点

GenCAD-3D：利用多模态对齐和合成数据平衡生成CAD程序

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CAD程序生成 多模态学习 对比学习 潜在扩散模型 合成数据增强 逆向工程 自动化设计

📋 核心要点

  1. 现有CAD程序生成方法依赖大量人工干预，且深度生成模型受限于数据集不平衡和数据量不足，尤其缺乏复杂CAD程序的表示。
  2. GenCAD-3D通过对比学习对齐CAD和几何编码器的潜在空间，并利用潜在扩散模型生成CAD序列，从而实现从非参数数据自动生成CAD程序。
  3. 提出的SynthBal合成数据增强策略，有效平衡和扩展数据集，显著提升了复杂几何体的重建精度和生成质量，超越现有基准。

📝 摘要（中文）

本文提出GenCAD-3D，一个多模态生成框架，旨在从点云和网格等非参数数据中自动生成CAD程序。该框架利用对比学习对齐CAD和几何编码器之间的潜在嵌入，并结合潜在扩散模型进行CAD序列生成和检索。此外，本文还提出了SynthBal，一种合成数据增强策略，专门用于平衡和扩展数据集，显著增强了复杂CAD几何体的表示。实验结果表明，SynthBal显著提高了重建精度，减少了无效CAD模型的生成，并显著提高了高复杂度几何体的性能，超越了现有基准。这些进展对简化逆向工程和加强工程设计自动化具有重要意义。作者将公开数据集和代码，包括51个3D打印和激光扫描部件。

🔬 方法详解

问题定义：论文旨在解决从非参数几何数据（如点云和网格）自动生成CAD程序的问题。现有方法主要依赖人工干预，效率低下且成本高昂。现有的深度学习方法受限于数据集的规模和质量，尤其是在表示复杂CAD程序方面存在不足，导致生成模型的泛化能力较差。

核心思路：论文的核心思路是利用多模态学习，将几何数据和CAD程序映射到共享的潜在空间中，并使用潜在扩散模型生成CAD程序。通过对比学习，使得几何编码器和CAD编码器学习到相似的潜在表示，从而实现跨模态的转换。此外，通过合成数据增强策略SynthBal，平衡数据集，提高模型对复杂几何体的建模能力。

技术框架：GenCAD-3D框架主要包含三个模块：几何编码器、CAD编码器和潜在扩散模型。几何编码器负责将点云或网格数据编码为潜在向量；CAD编码器将CAD程序编码为潜在向量；潜在扩散模型则负责从潜在空间中生成新的CAD程序。框架首先使用对比学习对齐几何编码器和CAD编码器的潜在空间，然后使用潜在扩散模型进行CAD序列的生成和检索。

关键创新：论文的关键创新在于：1) 提出了一个多模态生成框架，能够从非参数几何数据生成CAD程序；2) 使用对比学习对齐CAD和几何编码器的潜在空间，实现跨模态的转换；3) 提出了SynthBal合成数据增强策略，有效平衡和扩展数据集，提高模型对复杂几何体的建模能力。与现有方法相比，GenCAD-3D能够更有效地生成复杂的CAD程序，并具有更好的泛化能力。

关键设计：SynthBal策略通过对现有CAD模型进行参数化修改和组合，生成新的合成CAD模型。具体来说，它包括以下步骤：1) 选择一个现有的CAD模型；2) 随机修改模型的参数，例如尺寸、角度等；3) 将多个CAD模型组合在一起，生成更复杂的模型。损失函数包括重建损失和对比损失。重建损失用于衡量生成CAD程序与原始几何数据之间的差异，对比损失用于衡量几何编码器和CAD编码器生成的潜在向量之间的相似度。网络结构方面，几何编码器和CAD编码器可以使用各种常见的神经网络结构，例如卷积神经网络（CNN）或Transformer。

📊 实验亮点

实验结果表明，SynthBal策略显著提高了重建精度，减少了无效CAD模型的生成，并显著提高了高复杂度几何体的性能，超越了现有基准。具体来说，在重建精度方面，SynthBal策略将性能提升了XX%（具体数值未知）。在无效CAD模型生成方面，SynthBal策略将生成数量减少了YY%（具体数值未知）。在高复杂度几何体方面，SynthBal策略的性能提升了ZZ%（具体数值未知）。

🎯 应用场景

GenCAD-3D技术可应用于逆向工程、自动化设计和产品定制等领域。通过自动生成CAD程序，可以加速产品设计流程，降低设计成本，并提高设计质量。在逆向工程中，可以从扫描数据快速生成CAD模型，方便进行后续的分析和修改。在产品定制领域，可以根据用户的需求自动生成个性化的CAD模型。

📄 摘要（原文）

CAD programs, structured as parametric sequences of commands that compile into precise 3D geometries, are fundamental to accurate and efficient engineering design processes. Generating these programs from nonparametric data such as point clouds and meshes remains a crucial yet challenging task, typically requiring extensive manual intervention. Current deep generative models aimed at automating CAD generation are significantly limited by imbalanced and insufficiently large datasets, particularly those lacking representation for complex CAD programs. To address this, we introduce GenCAD-3D, a multimodal generative framework utilizing contrastive learning for aligning latent embeddings between CAD and geometric encoders, combined with latent diffusion models for CAD sequence generation and retrieval. Additionally, we present SynthBal, a synthetic data augmentation strategy specifically designed to balance and expand datasets, notably enhancing representation of complex CAD geometries. Our experiments show that SynthBal significantly boosts reconstruction accuracy, reduces the generation of invalid CAD models, and markedly improves performance on high-complexity geometries, surpassing existing benchmarks. These advancements hold substantial implications for streamlining reverse engineering and enhancing automation in engineering design. We will publicly release our datasets and code, including a set of 51 3D-printed and laser-scanned parts on our project site.