InstaGen: Enhancing Object Detection by Training on Synthetic Dataset

📄 arXiv: 2402.05937v3 📥 PDF

作者: Chengjian Feng, Yujie Zhong, Zequn Jie, Weidi Xie, Lin Ma

分类: cs.CV

发布日期: 2024-02-08 (更新: 2024-04-08)

备注: CVPR2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出InstaGen以通过合成数据集增强目标检测能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 目标检测 合成数据 扩散模型 自我训练 实例定位 开放词汇 数据稀缺

📋 核心要点

  1. 现有目标检测方法在类别扩展和数据稀缺场景下性能不足，难以满足实际应用需求。
  2. 论文提出通过将实例级定位头集成到生成扩散模型中，利用合成数据集来增强目标检测器的能力。
  3. 实验结果表明，InstaGen在开放词汇和数据稀缺场景下，分别提升了4.5 AP和1.2至5.2 AP，显著优于现有方法。

📝 摘要（中文）

本文提出了一种新颖的范式，通过在生成的合成数据集上训练，增强目标检测器的能力，例如扩展类别或提高检测性能。具体而言，我们将实例级定位头集成到预训练的生成扩散模型中，以增强其在生成图像中定位实例的能力。定位头通过与现成目标检测器的监督以及对未覆盖类别的新型自我训练方案，训练以对齐类别名称的文本嵌入与扩散模型的区域视觉特征。通过全面实验，我们展示了这种增强版的扩散模型InstaGen可以作为数据合成器，通过其生成的样本增强目标检测器，在开放词汇场景下性能优于现有最先进方法(+4.5 AP)，在数据稀缺场景下性能提升(+1.2至5.2 AP)。

🔬 方法详解

问题定义：本文旨在解决现有目标检测方法在类别扩展和数据稀缺情况下的性能不足问题。现有方法往往依赖于大量标注数据，难以适应新类别的检测需求。

核心思路：论文的核心思路是通过训练生成的合成数据集，增强目标检测器的能力。具体而言，集成实例级定位头到生成扩散模型中，使其能够在生成图像中定位实例。

技术框架：整体架构包括预训练的生成扩散模型和实例级定位头。首先，生成模型生成合成图像，然后通过定位头对生成图像中的实例进行定位，最后利用现成目标检测器的监督进行训练。

关键创新：最重要的技术创新在于将实例级定位头与生成扩散模型相结合，使得模型不仅能够生成图像，还能有效定位图像中的对象。这一设计与传统方法的本质区别在于利用合成数据进行自我训练，提升了模型的适应性。

关键设计：关键设计包括定位头的网络结构和损失函数设置。定位头通过对齐类别名称的文本嵌入与视觉特征，采用自我训练方案来处理未覆盖的新类别，确保模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，InstaGen在开放词汇场景下提升了4.5 AP，在数据稀缺场景下性能提升幅度达到1.2至5.2 AP，显著优于现有最先进方法，验证了其作为数据合成器的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、安防监控和智能制造等场景，能够有效提升目标检测系统在新环境和新类别下的适应能力。未来，InstaGen有望推动目标检测技术的广泛应用，尤其是在数据稀缺的情况下，降低对标注数据的依赖。

📄 摘要（原文）

In this paper, we present a novel paradigm to enhance the ability of object detector, e.g., expanding categories or improving detection performance, by training on synthetic dataset generated from diffusion models. Specifically, we integrate an instance-level grounding head into a pre-trained, generative diffusion model, to augment it with the ability of localising instances in the generated images. The grounding head is trained to align the text embedding of category names with the regional visual feature of the diffusion model, using supervision from an off-the-shelf object detector, and a novel self-training scheme on (novel) categories not covered by the detector. We conduct thorough experiments to show that, this enhanced version of diffusion model, termed as InstaGen, can serve as a data synthesizer, to enhance object detectors by training on its generated samples, demonstrating superior performance over existing state-of-the-art methods in open-vocabulary (+4.5 AP) and data-sparse (+1.2 to 5.2 AP) scenarios. Project page with code: https://fcjian.github.io/InstaGen.