CrashCar101: Procedural Generation for Damage Assessment

📄 arXiv: 2311.06536v1 📥 PDF

作者: Jens Parslov, Erik Riise, Dim P. Papadopoulos

分类: cs.CV

发布日期: 2023-11-11

备注: Accepted at WACV 2024

💡 一句话要点

提出合成数据生成方法以解决车辆损伤评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 车辆损伤评估 合成数据 计算机视觉 深度学习 图像分割 程序生成 自动化标注

📋 核心要点

  1. 现有方法在车辆损伤评估中需要大量人工标注，效率低且成本高。
  2. 提出的程序生成管道可以自动生成损伤汽车的合成图像及其精确标注，减少人工干预。
  3. 实验结果显示，结合合成数据的模型在部件和损伤分割任务上均优于仅使用真实数据的模型。

📝 摘要（中文）

本文关注车辆损伤评估问题，包括损伤位置、程度及受损部件的识别。为了训练计算机视觉系统进行语义分割，传统方法需要耗费大量人力进行像素级标注。为此，作者提出使用合成数据来训练模型，合成数据能够提供高变异性、像素精确的标注以及无需人工干预的大规模训练集。通过一个程序生成管道，作者对3D汽车模型进行损伤处理，生成配有精确标注的损伤汽车的合成2D图像。实验结果表明，结合真实数据和合成数据训练的分割模型在性能上优于仅使用真实数据训练的模型。

🔬 方法详解

问题定义：本文旨在解决车辆损伤评估中的图像分割问题，现有方法依赖于人工标注，导致效率低下和高成本。

核心思路：通过合成数据生成程序，自动生成损伤汽车的图像及其像素级标注，从而避免人工标注的需求。

技术框架：整体流程包括3D汽车模型的损伤处理、合成2D图像生成和像素级标注的自动化。主要模块包括损伤生成算法和图像渲染系统。

关键创新：最重要的创新在于利用程序生成技术创建高变异性的合成数据集，显著提高了模型训练的效率和效果。

关键设计：在损伤生成过程中，设计了多种损伤类型和程度的参数设置，确保生成图像的多样性和真实性，同时采用了适合的损失函数以优化分割模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合合成数据的模型在部件分割任务上相较于仅使用真实数据的模型提升了约15%的性能，而在损伤分割任务上展示了良好的sim2real迁移能力，验证了合成数据的有效性。

🎯 应用场景

该研究的潜在应用领域包括汽车保险、事故分析和自动驾驶系统等。通过提高损伤评估的准确性和效率，能够为相关行业提供更好的决策支持，降低成本并提升安全性。未来，该方法还可扩展至其他类型的物体损伤评估。

📄 摘要（原文）

In this paper, we are interested in addressing the problem of damage assessment for vehicles, such as cars. This task requires not only detecting the location and the extent of the damage but also identifying the damaged part. To train a computer vision system for the semantic part and damage segmentation in images, we need to manually annotate images with costly pixel annotations for both part categories and damage types. To overcome this need, we propose to use synthetic data to train these models. Synthetic data can provide samples with high variability, pixel-accurate annotations, and arbitrarily large training sets without any human intervention. We propose a procedural generation pipeline that damages 3D car models and we obtain synthetic 2D images of damaged cars paired with pixel-accurate annotations for part and damage categories. To validate our idea, we execute our pipeline and render our CrashCar101 dataset. We run experiments on three real datasets for the tasks of part and damage segmentation. For part segmentation, we show that the segmentation models trained on a combination of real data and our synthetic data outperform all models trained only on real data. For damage segmentation, we show the sim2real transfer ability of CrashCar101.