ScratchSim: A Procedural Synthetic Data Pipeline for Surface Scratch Detection

📄 arXiv: 2607.27065v1 📥 PDF

作者: Paul Julius Kühn, Saptarshi Neil Sinha, Tiago Kleist, Richard Hoffmann, Arjan kuijper, Michael Weinmann

分类: cs.CV, cs.AI

发布日期: 2026-07-29

💡 一句话要点

提出ScratchSim以解决工业表面划痕检测数据稀缺问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 合成数据生成 缺陷检测 工业质量控制 目标检测 深度学习

📋 核心要点

  1. 现有的缺陷检测方法面临标注数据稀缺的问题，限制了模型的训练效果。
  2. 本文提出了一种程序化合成数据生成管道，能够自动生成大规模的标注合成数据，解决了数据不足的问题。
  3. 实验结果表明，基于合成数据的微调策略在性能上优于仅使用真实数据的训练，混合训练在数据稀缺情况下表现良好。

📝 摘要（中文）

在工业质量控制中，自动化缺陷检测（如表面划痕检测）至关重要，但标注缺陷数据的稀缺使得这一任务面临挑战。本文提出了一种程序化渲染管道，利用BlenderProc生成大规模标注的合成训练数据，支持可配置的材料外观、相机模式和领域随机化，并自动生成COCO格式的标注。通过评估四种训练策略（仅合成、仅真实、混合和从合成权重微调），在不同材料属性的两个物体和三种轻量级边缘可部署检测器（YOLOX、YOLO26和LW-DETR）上进行验证，结果显示从合成权重微调的策略始终优于仅真实训练，混合训练在真实数据稀缺的情况下有效恢复性能。该方法为无须大量真实标注数据的缺陷检测提供了可扩展的解决方案，适用于工业现场检测。

🔬 方法详解

问题定义：本文旨在解决工业表面划痕检测中缺乏标注数据的问题。现有方法依赖于真实数据进行训练，但由于标注数据稀缺，导致模型性能受限。

核心思路：论文提出了一种基于程序化渲染的合成数据生成管道，利用BlenderProc生成可配置的合成数据，提供多样化的材料外观和相机视角，以增强模型的训练效果。

技术框架：整体架构包括数据生成模块、标注生成模块和训练模块。数据生成模块负责创建合成图像，标注生成模块自动生成COCO格式的标注，训练模块则使用不同的训练策略进行模型训练。

关键创新：最重要的创新在于提出了一种高效的合成数据生成方法，能够在不依赖大量真实数据的情况下，生成高质量的标注数据。这与传统方法依赖于真实数据的本质区别在于，合成数据可以灵活调整和扩展。

关键设计：在参数设置上，支持材料外观、相机模式和领域随机化的配置。损失函数采用标准的目标检测损失，网络结构则使用YOLOX、YOLO26和LW-DETR等轻量级模型进行训练和评估。实验中还探索了不同训练策略的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，从合成权重微调的策略在性能上始终优于仅使用真实数据的训练，混合训练在真实数据稀缺的情况下有效恢复性能。具体而言，微调策略在不同检测器上均表现出显著的性能提升，验证了合成数据的有效性。

🎯 应用场景

该研究的潜在应用场景包括工业生产线的自动化检测、质量控制以及机器人视觉系统。通过提供合成数据生成的解决方案，能够显著降低对真实标注数据的依赖，提高缺陷检测的效率和准确性，推动智能制造的发展。

📄 摘要（原文）

While automated defect detection such as the detection of surface scratched is an important aspect in industrial quality control, the scarcity of annotated defect data make this task challenging. This paper presents a procedural rendering pipeline that generates large-scale annotated synthetic training data using BlenderProc, with configurable material appearance, camera modes, and domain randomization, producing automatic COCO-format annotations. To show the potential of our approach, we evaluate four training strategies, namely synthetic-only, real-only, mixed, and fine-tuning from synthetic weights, across two objects with different material properties and three lightweight edge-deployable detectors, YOLOX, YOLO26, and LW-DETR. Our evaluation show that fine-tuning from synthetic weights consistently outperforms real-only training, and that mixed training effectively recovers performance under scarce real-data conditions, with findings validated across both convolutional and transformer-based architectures. The proposed approach enables scalable defect detection without the burden of large real annotated datasets, making it practical for on-device industrial inspection. The pipeline scripts, 3D model, and both synthetic and real annotated scratch datasets for a glossy toy Ferrari car will be made available through the project website upon acceptance.