Investigation of the Impact of Synthetic Training Data in the Industrial Application of Terminal Strip Object Detection
作者: Nico Baumgart, Markus Lange-Hegermann, Mike Mücke
分类: cs.CV, cs.LG
发布日期: 2024-03-06 (更新: 2025-12-29)
DOI: 10.1007/s00138-025-01770-0
💡 一句话要点
提出合成训练数据生成方法以解决工业终端条形物体检测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 合成数据 物体检测 深度学习 工业应用 图像合成 随机化技术 CAD模型
📋 核心要点
- 现有方法在复杂工业环境中收集和标注数据的成本高昂，限制了深度学习模型的应用。
- 论文提出了一种结合随机化和领域知识的图像合成管道，旨在提高合成数据的真实感和适用性。
- 实验结果显示，DINO模型在真实数据集上达到了98.40%的平均精度，验证了方法的有效性。
📝 摘要（中文）
在工业制造中，深度学习模型的视觉检测应用受到收集和标注大规模训练数据集高成本的限制。虽然从3D CAD模型合成图像是一种常见解决方案，但在复杂工业任务中，现有的领域和渲染随机化技术的有效性尚不明确。本文研究了标准物体检测器在终端条形物体检测中的仿真到现实的泛化性能，结合随机化和领域知识，创建了一个高真实感的图像合成管道，并公开了包含30,000张合成图像和300张手动标注真实图像的数据集。实验结果表明，基于变换器的DINO模型在真实测试集上达到了98.40%的平均精度，展示了该管道在复杂工业环境中的高质量检测能力。
🔬 方法详解
问题定义：本文旨在解决在复杂工业环境中进行终端条形物体检测时，现有方法在数据收集和标注上的高成本问题。现有的合成数据生成技术在简单领域中表现良好，但在复杂场景中的有效性尚不明确。
核心思路：论文的核心思路是通过结合领域知识和随机化技术，创建一个高真实感的图像合成管道，以降低合成数据生成的实现难度，同时提高模型的泛化能力。
技术框架：整体架构包括图像合成管道的设计，主要分为数据生成、随机化处理和模型训练三个阶段。首先，从3D CAD模型生成合成图像，然后应用随机化技术增强数据多样性，最后利用合成数据训练标准物体检测器。
关键创新：最重要的技术创新点在于将领域知识与随机化技术相结合，显著提高了合成数据的真实感和适用性。这种方法与传统的单一随机化技术相比，能够更好地适应复杂的工业场景。
关键设计：在参数设置上，采用了特定的随机化策略以增强图像的多样性，损失函数选择了适合物体检测的标准损失函数，网络结构则基于当前主流的物体检测模型进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于合成数据训练的DINO模型在真实测试集上达到了98.40%的平均精度，优于其他模型，验证了该图像合成管道在复杂工业环境中的有效性和高质量检测能力。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能制造和质量检测等。通过提供高质量的合成训练数据，能够有效降低数据收集成本，提高深度学习模型在复杂工业环境中的应用效果，推动智能视觉检测技术的发展。
📄 摘要（原文）
In industrial manufacturing, deploying deep learning models for visual inspection is mostly hindered by the high and often intractable cost of collecting and annotating large-scale training datasets. While image synthesis from 3D CAD models is a common solution, the individual techniques of domain and rendering randomization to create rich synthetic training datasets have been well studied mainly in simple domains. Hence, their effectiveness on complex industrial tasks with densely arranged and similar objects remains unclear. In this paper, we investigate the sim-to-real generalization performance of standard object detectors on the complex industrial application of terminal strip object detection, carefully combining randomization and domain knowledge. We describe step-by-step the creation of our image synthesis pipeline that achieves high realism with minimal implementation effort and explain how this approach could be transferred to other industrial settings. Moreover, we created a dataset comprising 30.000 synthetic images and 300 manually annotated real images of terminal strips, which is publicly available for reference and future research. To provide a baseline as a lower bound of the expectable performance in these challenging industrial parts detection tasks, we show the sim-to-real generalization performance of standard object detectors on our dataset based on a fully synthetic training. While all considered models behave similarly, the transformer-based DINO model achieves the best score with 98.40 % mean average precision on the real test set, demonstrating that our pipeline enables high quality detections in complex industrial environments from existing CAD data and with a manageable image synthesis effort.