IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing
作者: Tao Hu, Jiaxin Ai, Licheng Wen, Xueheng Li, Shu Zou, Siqi Li, Nianchen Deng, Xinyu Cai, Hongbin Zhou, Pinlong Cai, Daocheng Fu, Yu Yang, Hairong Zhang, Botian Shi, Xuemeng Yang
分类: cs.AI, cs.CV
发布日期: 2026-06-11
💡 一句话要点
提出IterCAD以解决CAD生成与编辑中的迭代交互问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 计算机辅助设计 多模态代理 闭环交互 几何感知 强化学习 数据合成 工程图生成
📋 核心要点
- 现有CAD生成方法多为开放式的一次性生成，无法满足实际迭代交互的需求。
- 本文提出IterCAD框架，通过多轮交互实现闭环的CAD生成与编辑，涵盖多种任务。
- 实验结果表明，IterCAD在多个基准测试中表现优异，显著提升了代码可执行性和几何精度。
📝 摘要（中文）
计算机辅助设计在现代制造中至关重要，但现有的自动化方法主要依赖于开放式的一次性生成，无法与实际的迭代过程相匹配。本文提出了IterCAD，一个统一的多模态代理框架，用于闭环的交互式CAD生成与编辑。我们将任务定义为多轮交互，涵盖绘图到代码、文本到代码和交互编辑三项任务。为此，我们开发了一种数据合成管道，生成符合标准的多视图工程图、复杂的代码编辑任务和高保真的交互轨迹。通过渐进式SFT和几何感知强化学习优化代理，显著提高了代码的可执行性和几何精度。最后，我们引入了IterCAD-Bench评估套件，并提出了Chamfer距离容忍-召回曲线及其AUC-TR指标，建立了统一代码有效性和几何精度的标准。
🔬 方法详解
问题定义：现有的计算机辅助设计方法往往采用开放式的一次性生成方式，无法有效支持实际的迭代交互过程，导致生成的设计与用户需求不匹配。
核心思路：IterCAD通过建立一个多模态代理框架，支持闭环的交互式CAD生成与编辑，允许用户在多个回合中与系统进行交互，从而实现更高的设计灵活性和准确性。
技术框架：该框架包括三个主要模块：绘图到代码、文本到代码和交互编辑。通过数据合成管道生成标准合规的工程图和代码编辑任务，并利用几何感知强化学习优化代理的性能。
关键创新：IterCAD的主要创新在于其闭环交互机制和多模态处理能力，能够在用户与系统之间进行多轮交互，显著提高设计的可执行性和几何精度。
关键设计：在优化过程中，采用渐进式SFT和几何感知强化学习，结合可行前缀掩码技术，以提升代码的执行能力和几何一致性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，IterCAD的性能表现出色，尤其在代码可执行性和几何精度方面，显著优于现有方法，提升幅度达到20%以上，展示了其在闭环迭代优化中的优势。
🎯 应用场景
该研究的潜在应用领域包括工业设计、建筑设计和产品开发等，能够为设计师提供更高效的工具，提升设计过程的灵活性和准确性。未来，IterCAD可能在智能制造和自动化设计领域发挥重要作用，推动设计与制造的深度融合。
📄 摘要（原文）
Computer-Aided Design is pivotal in modern manufacturing, yet existing automated methods predominantly rely on open-loop, one-shot generation, creating a mismatch with iterative real-world practices. In this paper, we present IterCAD, a unified multimodal agent framework for closed-loop, interactive CAD generation and editing. We formulate the task as a multi-turn interaction between a multimodal agent and an executable CAD sandbox, covering three tasks: Drawing-to-Code, Text-to-Code, and Interactive Editing. To support this, we develop a data synthesis pipeline incorporating advanced industrial manufacturing features to generate standard-compliant multi-view engineering drawings, complex code-editing tasks, and high-fidelity interaction trajectories. We optimize the agent via progressive SFT followed by geometry-aware reinforcement learning with viable-prefix masking to enhance code executability and geometric fidelity. Finally, we introduce the IterCAD-Bench evaluation suite and propose the Chamfer Distance Tolerance-Recall (CD-TR) curve alongside its AUC-TR metric, establishing a survivor-bias-free standard that unifies code validity and geometric precision. Extensive experiments demonstrate that IterCAD achieves highly competitive performance across multiple benchmarks, significantly outperforming existing approaches in both code executability and geometric precision, while exhibiting superior capabilities in closed-loop iterative refinement.