IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing

📄 arXiv: 2606.13368 📥 PDF

作者: Tao Hu, Jiaxin Ai, Licheng Wen, Xueheng Li, Shu Zou, Siqi Li, Nianchen Deng, Xinyu Cai, Hongbin Zhou, Pinlong Cai, Daocheng Fu, Yu Yang, Hairong Zhang, Botian Shi, Xuemeng Yang

分类: cs.AI, cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出IterCAD以解决CAD生成与编辑中的迭代交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算机辅助设计 多模态代理 闭环交互 代码生成 几何精度 强化学习 数据合成

📋 核心要点

  1. 现有的CAD生成方法多为开放式的一次性生成，无法适应实际的迭代设计需求，导致生成结果的可用性和精度不足。
  2. 本文提出的IterCAD框架通过多模态交互实现闭环的CAD生成与编辑，涵盖绘图到代码、文本到代码和交互编辑等任务。
  3. 实验结果表明，IterCAD在多个基准测试中表现优异，显著提升了代码的可执行性和几何精度，展示了其在闭环迭代优化中的优势。

📝 摘要（中文）

计算机辅助设计在现代制造中至关重要，但现有的自动化方法主要依赖于开放式的一次性生成，无法与实际的迭代过程相匹配。本文提出了IterCAD，一个统一的多模态代理框架，用于闭环的交互式CAD生成和编辑。我们将任务定义为多轮交互，涵盖绘图到代码、文本到代码和交互编辑三项任务。为此，我们开发了一种数据合成管道，生成符合标准的多视图工程图、复杂的代码编辑任务和高保真的交互轨迹。通过渐进式SFT和几何感知强化学习优化代理，显著提升了代码可执行性和几何精度。最后，我们引入了IterCAD-Bench评估套件，并提出了Chamfer Distance Tolerance-Recall (CD-TR)曲线及其AUC-TR指标，建立了一个统一代码有效性和几何精度的标准。

🔬 方法详解

问题定义：本文旨在解决现有计算机辅助设计方法在迭代交互中的不足，尤其是开放式的一次性生成方式无法满足实际设计需求的问题。

核心思路：IterCAD框架通过多模态代理与可执行的CAD沙箱进行多轮交互，支持闭环的CAD生成与编辑，提升了设计过程的灵活性和精确性。

技术框架：该框架包括数据合成管道、代理优化模块和评估套件，具体任务分为绘图到代码、文本到代码和交互编辑三个部分。

关键创新：最重要的创新在于引入了渐进式SFT和几何感知强化学习，结合可行前缀掩蔽技术，显著提升了生成代码的可执行性和几何精度。

关键设计：在设计中，采用了标准合规的多视图工程图生成、复杂代码编辑任务的合成，以及高保真的交互轨迹生成，确保了系统的实用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IterCAD在多个基准测试中表现优异，代码可执行性和几何精度显著提升，超越了现有方法。具体而言，IterCAD在闭环迭代优化中展现出更高的性能，提供了更为精准的设计输出。

🎯 应用场景

该研究的潜在应用领域包括工业设计、建筑设计和产品开发等，能够有效提升设计师在CAD生成与编辑过程中的效率与准确性。未来，IterCAD有望在智能制造和自动化设计中发挥更大作用，推动设计流程的智能化与自动化。

📄 摘要（原文）

Computer-Aided Design is pivotal in modern manufacturing, yet existing automated methods predominantly rely on open-loop, one-shot generation, creating a mismatch with iterative real-world practices. In this paper, we present IterCAD, a unified multimodal agent framework for closed-loop, interactive CAD generation and editing. We formulate the task as a multi-turn interaction between a multimodal agent and an executable CAD sandbox, covering three tasks: Drawing-to-Code, Text-to-Code, and Interactive Editing. To support this, we develop a data synthesis pipeline incorporating advanced industrial manufacturing features to generate standard-compliant multi-view engineering drawings, complex code-editing tasks, and high-fidelity interaction trajectories. We optimize the agent via progressive SFT followed by geometry-aware reinforcement learning with viable-prefix masking to enhance code executability and geometric fidelity. Finally, we introduce the IterCAD-Bench evaluation suite and propose the Chamfer Distance Tolerance-Recall (CD-TR) curve alongside its AUC-TR metric, establishing a survivor-bias-free standard that unifies code validity and geometric precision. Extensive experiments demonstrate that IterCAD achieves highly competitive performance across multiple benchmarks, significantly outperforming existing approaches in both code executability and geometric precision, while exhibiting superior capabilities in closed-loop iterative refinement.