VisCAD: A Foundation Model Suite with Multimodal Industrial CAD Intelligence

📄 arXiv: 2609.03811v1 📥 PDF

作者: JoyIndustrial VisCAD Team, Linxin Cai, Qiuhe Hong, Zhichao Huang, Guanlin Li, Hongsen Liu, Ziqi Liu, Yichen Long, Luya Wang, Yuchen Wang, Wenxiang Wu, Huimu Yu, Ning Zhang

分类: cs.CV, cs.CL

发布日期: 2026-09-03

备注: Technical report from JoyIndustrial's AI CAD project

💡 一句话要点

提出VisCAD以解决工业产品CAD设计中的多模态挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态输入 计算机辅助设计 基础模型 工业设计 生成模型

📋 核心要点

  1. 现有CAD模型在处理多模态输入时泛化能力不足，难以满足工业设计需求。
  2. VisCAD通过构建一个基础模型套件，结合多模态输入，提升了CAD设计的生成能力。
  3. 在PubCADBench和RealCADBench上，VisCAD-M1的部件级得分达到了0.5540，显著优于其他模型。

📝 摘要（中文）

AI辅助的计算机辅助设计（CAD）在工业产品设计中面临两个主要挑战：部件级生成和装配级生成。部件级生成需要将用户意图（如渲染、文本描述、2D图纸和真实照片）映射到可执行的CAD领域特定语言程序中，而装配级生成则需处理部件间的交互、规划配合关系、估计姿态并正确放置所有部件。现有的CAD模型通常在狭窄的输入域上训练，泛化能力差，而通用模型在CAD领域表现不一致。为此，本文提出了VisCAD，一个旨在提供广泛泛化能力和强大CAD能力的基础模型套件。核心模型VisCAD-M1在部件级设计生成方面表现优异，达到了0.5540的平均得分，超越了现有最强模型，并通过测试时验证进一步提升至0.5797，约提升5%。

🔬 方法详解

问题定义：本文旨在解决工业产品CAD设计中多模态输入的生成问题。现有方法通常在特定输入域上训练，导致泛化能力不足，难以处理复杂的设计需求。

核心思路：VisCAD通过构建一个基础模型套件，特别是核心模型VisCAD-M1，采用中期训练和后期训练的方法，旨在实现部件级设计生成的广泛泛化能力。

技术框架：VisCAD的整体架构包括部件级生成和装配级生成两个主要模块。部件级生成模块负责将多种用户意图映射到CAD语言，而装配级生成模块则处理部件间的交互和关系规划。

关键创新：VisCAD的核心创新在于其基础模型的设计，特别是通过中期和后期训练的结合，使其在多模态输入下表现出色，显著提升了生成质量。

关键设计：在模型训练中，采用了特定的损失函数和网络结构，确保模型在处理不同类型输入时的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VisCAD-M1在PubCADBench和RealCADBench上达到了0.5540的平均部件级得分，相较于最强的通用模型提升了0.0044。通过将VisCAD-M1作为测试时验证器，得分进一步提升至0.5797，约提升5%。

🎯 应用场景

VisCAD的研究成果在工业设计、产品开发和工程领域具有广泛的应用潜力。它能够帮助设计师更高效地生成复杂的产品设计，提高设计的准确性和一致性，未来可能推动CAD工具的智能化进程。

📄 摘要（原文）

AI-assisted computer-aided design (CAD) for industrial products involves two challenging phases. Part-level generation maps diverse forms of user intent, including renders, text descriptions, 2D drawings, and real photographs, to executable programs in a CAD domain-specific language. Assembly-level generation must additionally handle interacting parts, plan mating relations, estimate poses, and place all parts correctly. Existing specialized CAD models are commonly trained on narrow input domains, such as renders or texts, and often generalize poorly, while general-purpose frontier models cover broader inputs but perform inconsistently across CAD domains. We present VisCAD, a foundation model suite designed to provide both broad generalization and strong CAD capability for realistic industrial products. At its core is VisCAD-M1, a 27B model trained through mid-training and post-training for part-level design generation. On PubCADBench and RealCADBench, VisCAD-M1 achieves the highest average part-level score among the evaluated models, reaching 0.5540 compared with 0.5496 for the strongest frontier model. Reusing VisCAD-M1 as a test-time verifier can further raise the score to 0.5797, an approximately 5 percent relative improvement over the previous state of the art. VisCAD also includes a domain-specific harness that leverages frontier models for complex assembly generation and demonstrates advantages over general-purpose harnesses in both quantitative and qualitative evaluations.