CAD-WAM: Anticipating Geometry for Text-to-CAD Generation

📄 arXiv: 2610.39306v1 📥 PDF

作者: Zhengyang Li, Weijie Zheng, Yuxin Cui, Sijie Wang, Wenjie Feng, Qiyu Kang

分类: cs.CV, cs.GR

发布日期: 2026-10-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出CAD-WAM以解决文本到CAD生成中的几何预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到CAD生成 几何预测 大型语言模型 变分自编码器 几何监督 设计自动化 深度学习

📋 核心要点

  1. 现有方法在生成CAD模型时缺乏对几何状态的明确监督，导致多步骤生成的可靠性下降。
  2. CAD-WAM通过结合几何条件的动作生成与下一个状态预测，提供了一种新的生成框架，增强了几何监督。
  3. 在DeepCAD测试集上，CAD-WAM在几何准确性上超越了基线模型，特别是在需要更多操作的情况下，提升幅度显著。

📝 摘要（中文）

从文本生成可编辑的计算机辅助设计（CAD）模型需要选择能够产生预期几何变化的操作。错误的操作可能会影响后续步骤，使得可靠的多步骤生成变得具有挑战性。现有基于大型语言模型（LLMs）的方法主要学习预测命令，而没有明确监督这些命令应产生的几何状态。受世界-动作模型的启发，本文提出CAD-WAM，将几何条件的动作生成与下一个状态预测相结合。我们将完整建模操作定义为CAD领域特定语言（DSL）中的动作，并使用预训练的变分自编码器将中间固体的表面点云编码为紧凑的潜在状态。LLM主干根据目标描述和当前几何状态生成下一个动作，同时在同一主干上的辅助头预测下一个状态，以提供几何监督。在DeepCAD数据集中构建逐步训练轨迹，将每个轨迹与专家级文本描述配对。在推理时，每个生成的动作由CAD内核执行，结果固体被重新编码以通知下一个决策。在DeepCAD测试集上，CAD-WAM在几何准确性和输出有效性方面超越了任务特定的基线，尤其是在需要更多操作的模型上表现出更大的提升。

🔬 方法详解

问题定义：本文旨在解决从文本生成CAD模型时，现有方法在几何状态预测上的不足，导致生成过程中的错误操作影响后续步骤的挑战。

核心思路：CAD-WAM通过将几何条件的动作生成与下一个状态预测相结合，提供了一种新的生成方式，确保生成过程中的几何准确性。

技术框架：整体架构包括三个主要模块：首先是将中间固体的表面点云编码为潜在状态的变分自编码器；其次是基于LLM的主干生成下一个动作；最后是辅助头预测下一个几何状态，以提供训练过程中的几何监督。

关键创新：CAD-WAM的核心创新在于引入了下一个状态的监督机制，这一机制与传统的仅预测动作的方法有本质区别，显著提高了生成的几何准确性。

关键设计：在模型设计中，使用了变分自编码器进行潜在状态编码，LLM主干负责动作生成，辅助头则用于状态预测，损失函数设计上强调了几何监督的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DeepCAD测试集上，CAD-WAM在几何准确性和输出有效性方面超越了任务特定的基线，尤其在需要更多操作的模型上，几何准确性提升幅度达到13.2%。与通用LLM相比，CAD-WAM生成的几何模型更为准确，展示了其在CAD生成任务中的优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在建筑设计、产品设计和工程仿真等领域。通过提高文本到CAD模型生成的准确性，CAD-WAM能够加速设计流程，降低人工干预的需求，提升设计效率。未来，随着模型的进一步优化，其在自动化设计和智能制造中的应用前景将更加广阔。

📄 摘要（原文）

Generating editable computer-aided design (CAD) models from text requires selecting operations that produce the intended changes to the geometry constructed so far. An incorrect operation can compromise subsequent steps, making reliable multi-step generation challenging. Existing methods based on large language models (LLMs) primarily learn to predict commands, without explicit supervision of the geometric states those commands should produce. Inspired by world-action models, we introduce CAD-WAM, which couples geometry-conditioned action generation with next-state prediction. We define complete modeling operations as actions in a CAD domain-specific language (DSL) and encode surface point clouds of intermediate solids into compact latent states using a pretrained variational autoencoder. An LLM backbone generates the next action from the target description and current geometric state, while an auxiliary head on the same backbone predicts the next state to provide geometric supervision during training. We construct step-wise training trajectories from parametric CAD models in the DeepCAD dataset, pairing each trajectory with an expert-level textual description. At inference, each generated action is executed by a CAD kernel, and the resulting solid is re-encoded to inform the next decision. On the DeepCAD test set, CAD-WAM outperforms the task-specific baselines in geometric accuracy and output validity, with larger gains on models requiring more operations, and produces more accurate geometry than general-purpose LLMs prompted with the same DSL. Ablations further show that next-state supervision reduces mean Chamfer distance by 13.2\% relative to an otherwise identical model trained only to predict actions. Code is available at https://github.com/Lzy-1037/CAD-WAM.