OmniMech: All-in-one Multimodal Mechanical Benchmark for 3D Reconstruction
作者: Taiting Lu, Runze Liu, Ziwei Dong, Sisong Bei, Jingying Zeng, Mingjia Wang, Zhenghao Li, Kaiyuan Lin, Yi-Shan Wu, Yangshoudu Zheng, Hongxing Pan, Kai Zhang, Guoliang Shi, Ling Ma, Yifan Yang, Jiaying Lu, Qi He, Sung-Liang Chen, Yi-Chao Chen, Yincheng Jin, Mahanth Gowda
分类: cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出OmniMech基准以解决工业机械设计中的3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 CAD程序生成 3D重建 工业设计 多模态基准
📋 核心要点
- 现有方法主要针对粗略的3D对象，难以处理工业机械设计中的细致几何和公差问题。
- 论文提出OmniMech基准，包含丰富的2D图纸和CAD模型，支持多种任务评估VLM的生成能力。
- 实验结果显示，当前模型在可执行程序合成和3D重建方面仍存在显著不足，亟需改进。
📝 摘要（中文）
近年来，视觉语言模型（VLMs）能够从图像生成可执行的CAD程序，但现有方法主要针对粗略的一般性3D对象，鲜有关注工业机械设计中所需的细致几何和毫米级公差。我们提出OmniMech，这是第一个百万规模的基准，用于评估VLM在工业制造数据上生成可执行CAD的能力。OmniMech包含超过251,000个完整标注的2D正投影图，与原生CAD模型、多视角渲染、网格、STEP和B-rep表示及丰富的语义注释配对。基准包括四个任务：从工程图合成参数化CAD程序、图示到3D推理、基于注释的推理以及工具增强的代理推理。实验表明，当前的VLM和CAD专用模型在可执行程序合成、细粒度3D重建和可靠的尺寸公差执行方面仍面临挑战。
🔬 方法详解
问题定义：本论文旨在解决现有视觉语言模型在工业机械设计中生成可执行CAD程序的不足，特别是在细致几何和毫米级公差方面的挑战。现有方法多集中于粗略的3D对象，无法满足工业应用的需求。
核心思路：论文提出OmniMech基准，通过提供丰富的2D正投影图和相应的CAD模型，来评估VLM在生成可执行CAD程序方面的能力。该基准的设计旨在涵盖工业制造中的复杂性和多样性。
技术框架：OmniMech基准包含四个主要任务：1) 从工程图合成参数化CAD程序；2) 图示到3D的几何和结构一致性推理；3) 基于注释的维度、符号和制造约束推理；4) 使用可视化、测量和CAD执行工具的增强推理。
关键创新：OmniMech是第一个百万规模的基准，专注于工业制造数据的可执行CAD生成，填补了现有研究的空白。与现有方法相比，OmniMech在数据规模和任务复杂性上具有显著优势。
关键设计：基准数据包括超过251,000个完整标注的2D图纸，配有多种CAD表示形式和语义注释，确保了任务的多样性和挑战性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的VLM和CAD专用模型在可执行程序合成和3D重建方面仍存在显著不足，尤其是在细粒度重建和公差执行的可靠性上。具体性能数据尚未披露，但实验显示提升空间巨大。
🎯 应用场景
该研究的潜在应用领域包括工业机械设计、自动化制造和CAD程序生成等。通过提供一个全面的基准，研究者可以更好地评估和改进VLM在实际工业应用中的表现，推动智能制造的发展。
📄 摘要（原文）
Recent vision-language models (VLMs) can generate executable CAD programs from images, but existing methods mainly target coarse, general-purpose 3D objects and rarely address the fine-grained geometry and millimeter-level tolerances required in industrial mechanical design. We introduce OmniMech, the first million-scale benchmark for evaluating VLMs on executable CAD generation from industrial manufacturing data. OmniMech contains more than 251,000 fully dimensioned and toleranced 2D orthographic drawings, paired with native CAD models, multi-view renderings, mesh, STEP and B-rep representations, and rich semantic annotations. The benchmark includes four tasks: (1) parametric CAD program synthesis from engineering drawings; (2) diagram-to-3D reasoning for geometrically and structurally consistent reconstruction; (3) annotation-grounded reasoning over dimensions, symbols, feature callouts, and manufacturing constraints; and (4) tool-augmented agentic reasoning using visualization, measurement, CAD execution, and verification tools. Experiments show that current VLMs and CAD-specialized models still struggle with executable program synthesis, fine-grained 3D reconstruction, and reliable enforcement of dimensions and tolerances. We will release the benchmark data, evaluation code, and tool interfaces to support future research.