Blueprint2CAD: Benchmarking Foundation Models on Engineering Drawing-to-CAD Render Correspondence

📄 arXiv: 2611.02433v1 📥 PDF

作者: Alexander Valverde, Danny Xie-Li, Zhichao Wang, Marcos V. Conde

分类: cs.CV

发布日期: 2026-11-02

备注: Accepted at WACV 2027 (LVR)

💡 一句话要点

提出Blueprint2CAD以解决工程图与CAD渲染对应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工程图识别 CAD渲染 视觉模型评估 多视角数据 机器学习基准

📋 核心要点

  1. 现有方法缺乏有效的基准来评估视觉模型在工程图与CAD渲染之间的对应能力。
  2. 本文提出Blueprint2CAD基准，通过构建BlueCAD-30K数据集，提供多视角的图纸和渲染以进行模型评估。
  3. 实验表明，冻结编码器在已知视角时的Recall@1可达65%，而在未知视角时为43%，显示出视角对模型性能的显著影响。

📝 摘要（中文）

工程图通过正投影指定机械部件，识别图纸所描绘的部件对于部件搜索、设计重用和数字化至关重要。然而，目前尚无公开基准来衡量视觉模型的能力。本文提出Blueprint2CAD，这是一个用于绘图到渲染对应的基准，旨在判断给定的正投影线图与阴影渲染是否显示同一部件。其数据层BlueCAD-30K应用开放绘图管道，涵盖29,925个Zero-to-CAD模型，提供视角对齐的渲染、来自六个视角的干净且标注的图纸及表面类型元数据。实验结果显示，冻结编码器在已知视角时的Recall@1可达65%，而未知视角时为43%。

🔬 方法详解

问题定义：本文旨在解决工程图与CAD渲染之间的对应关系识别问题。现有方法缺乏公开基准，无法有效评估视觉模型在此任务上的表现。

核心思路：通过构建Blueprint2CAD基准，利用BlueCAD-30K数据集，提供多视角的图纸和渲染，来评估模型的绘图到渲染的对应能力。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据层BlueCAD-30K包含29,925个模型，提供视角对齐的渲染和多视角图纸。

关键创新：最重要的创新在于构建了一个专门针对工程图与CAD渲染对应的基准，填补了现有研究的空白，且提供了丰富的多视角数据。

关键设计：在实验中，冻结编码器被用于从10,000个模型库中检索匹配部件，使用Recall@1作为性能指标，且模型的视角而非骨干网络成为性能瓶颈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，冻结编码器在已知视角下的Recall@1达65%，而在未知视角下为43%。此外，六个零-shot视觉-语言模型的验证准确率仅为0.52-0.67，表明现有模型在此任务上的表现仍有待提升。

🎯 应用场景

该研究的潜在应用领域包括机械设计、工程图数字化及智能制造等。通过提高工程图与CAD模型之间的对应识别能力，能够促进设计重用和部件搜索的效率，推动工程领域的数字化转型。

📄 摘要（原文）

Engineering drawings specify mechanical parts through orthographic projections. Recognizing which part a drawing depicts underlies part search, design reuse, and digitization, yet no public benchmark measures whether vision models can do it. We introduce Blueprint2CAD, a benchmark for drawing-to-render correspondence: given an orthographic line drawing and a shaded render, usually from another viewpoint, decide whether they show the same part. Its data layer, BlueCAD-30K, applies an open drafting pipeline to 29,925 Zero-to-CAD models, adding view-aligned renders, clean and dimensioned drawings from six viewpoints, and surface-type metadata. Frozen encoders retrieve the matching part from a 10,000-model gallery with up to 65% Recall@1 when viewpoints are known but 43% when they are not, and the four encoders we test lie within six points of each other: viewpoint, not backbone, is the bottleneck. Six zero-shot vision-language models reach only 0.52-0.67 verification accuracy, with model-specific Yes/No biases that chain-of-thought shifts but does not remove; a quick LoRA fine-tuning on in-domain pairs improves verification accuracy by a few points but sharpens these biases and leaves the viewpoint failure intact.