Generating Enhanced Negatives for Training Language-Based Object Detectors

📄 arXiv: 2401.00094v2 📥 PDF

作者: Shiyu Zhao, Long Zhao, Vijay Kumar B. G, Yumin Suh, Dimitris N. Metaxas, Manmohan Chandraker, Samuel Schulter

分类: cs.CV

发布日期: 2023-12-29 (更新: 2024-04-13)

备注: Accepted to CVPR 2024. The supplementary document included

🔗 代码/项目: GITHUB

💡 一句话要点

提出利用生成模型增强负样本，提升基于语言的开放词汇目标检测器性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言目标检测 负样本生成 大型语言模型 扩散模型 开放词汇 多模态学习

📋 核心要点

  1. 基于语言的开放词汇目标检测面临负样本空间巨大的挑战，现有方法如随机采样或规则构建效果有限。
  2. 利用大型语言模型和文本到图像扩散模型，自动生成更贴合原始数据的负文本描述和负图像。
  3. 实验证明，生成的负样本数据能有效提升语言目标检测器在复杂基准测试上的性能表现。

📝 摘要（中文）

本文提出了一种利用大型生成模型自动构建更相关的负样本，以提升基于语言的开放词汇目标检测器性能的方法。现有的判别式训练方法依赖于高质量的正负样本，但自由形式的文本标注和开放词汇使得负样本空间巨大。与随机采样或基于规则的方法不同，本文利用大型语言模型生成负文本描述，并使用文本到图像扩散模型生成相应的负图像。实验结果表明，生成的负样本数据具有相关性，并能有效提升语言目标检测器在复杂基准测试上的性能。

🔬 方法详解

问题定义：论文旨在解决基于语言的开放词汇目标检测中，由于负样本空间巨大且难以有效采样，导致检测器性能受限的问题。现有方法，如随机采样或基于规则的负样本构建，无法充分利用数据中的信息，导致训练效率低下，模型泛化能力不足。

核心思路：论文的核心思路是利用大型语言模型（LLM）和文本到图像扩散模型，自动生成高质量的负样本。通过LLM生成与正样本相似但语义不同的负文本描述，再利用扩散模型将这些负文本描述转化为对应的负图像。这种方法能够更有效地探索负样本空间，提高训练数据的多样性和难度。

技术框架：整体框架包含以下几个主要步骤：1) 使用LLM生成负文本描述；2) 使用文本到图像扩散模型，将负文本描述转化为负图像；3) 将生成的负图像和负文本描述与原始数据结合，用于训练基于语言的目标检测器。该框架可以灵活地集成到现有的目标检测训练流程中。

关键创新：最重要的创新点在于利用生成模型自动构建负样本，而非依赖人工规则或随机采样。这种方法能够更有效地探索负样本空间，生成更具挑战性和信息量的负样本，从而提高检测器的鲁棒性和泛化能力。

关键设计：论文中关键的设计包括：1) 如何选择合适的LLM和扩散模型；2) 如何设计LLM的prompt，以生成高质量的负文本描述；3) 如何控制扩散模型的生成过程，以保证生成的负图像与原始图像在视觉上相似，但在语义上不同；4) 如何将生成的负样本有效地融入到目标检测器的训练过程中，例如，调整正负样本的比例，或者设计特定的损失函数。

📊 实验亮点

实验结果表明，使用生成的负样本数据训练的语言目标检测器在两个复杂基准测试上取得了显著的性能提升。具体数据未知，但论文强调了生成负样本的相关性以及其对检测器性能的积极影响。代码已开源，方便研究人员复现和进一步研究。

🎯 应用场景

该研究成果可广泛应用于智能监控、自动驾驶、图像搜索等领域。通过提升目标检测器对开放词汇的识别能力，可以实现更精确、更智能的场景理解和目标定位，具有重要的实际应用价值和商业前景。未来，该方法还可以扩展到其他多模态学习任务中。

📄 摘要（原文）

The recent progress in language-based open-vocabulary object detection can be largely attributed to finding better ways of leveraging large-scale data with free-form text annotations. Training such models with a discriminative objective function has proven successful, but requires good positive and negative samples. However, the free-form nature and the open vocabulary of object descriptions make the space of negatives extremely large. Prior works randomly sample negatives or use rule-based techniques to build them. In contrast, we propose to leverage the vast knowledge built into modern generative models to automatically build negatives that are more relevant to the original data. Specifically, we use large-language-models to generate negative text descriptions, and text-to-image diffusion models to also generate corresponding negative images. Our experimental analysis confirms the relevance of the generated negative data, and its use in language-based detectors improves performance on two complex benchmarks. Code is available at \url{https://github.com/xiaofeng94/Gen-Enhanced-Negs}.