YOLO-World: Real-Time Open-Vocabulary Object Detection

📄 arXiv: 2401.17270v3 📥 PDF

作者: Tianheng Cheng, Lin Song, Yixiao Ge, Wenyu Liu, Xinggang Wang, Ying Shan

分类: cs.CV

发布日期: 2024-01-30 (更新: 2024-02-22)

备注: Work still in progress. Code & models are available at: https://github.com/AILab-CVC/YOLO-World

💡 一句话要点

提出YOLO-World以解决开放词汇物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 YOLO系列 视觉-语言建模 区域-文本对比损失 深度学习 物体检测 实例分割

📋 核心要点

  1. 现有YOLO系列方法依赖于预定义的物体类别，限制了其在开放场景中的应用。
  2. YOLO-World通过视觉-语言建模和大规模预训练，提出了一种新型的检测框架，增强了开放词汇能力。
  3. 在LVIS数据集上，YOLO-World以52.0 FPS的速度实现了35.4 AP，表现优于许多现有方法。

📝 摘要（中文）

YOLO系列检测器已成为高效实用的工具，但其依赖于预定义的物体类别限制了在开放场景中的适用性。为了解决这一限制，本文提出YOLO-World，通过视觉-语言建模和在大规模数据集上的预训练，增强YOLO的开放词汇检测能力。我们提出了一种新的可重参数化视觉-语言路径聚合网络（RepVL-PAN）和区域-文本对比损失，以促进视觉和语言信息之间的交互。我们的算法在零样本检测中表现出色，且在LVIS数据集上以52.0 FPS的速度实现了35.4 AP，超越了许多先进方法的准确性和速度。此外，微调后的YOLO-World在多个下游任务中表现出色，包括物体检测和开放词汇实例分割。

🔬 方法详解

问题定义：现有YOLO系列检测器依赖于预定义的物体类别，导致在开放场景中无法有效检测未见过的物体，限制了其应用范围。

核心思路：YOLO-World通过引入视觉-语言建模和大规模数据集的预训练，旨在实现开放词汇的物体检测，允许模型在未见过的类别上进行有效推理。

技术框架：YOLO-World的整体架构包括可重参数化视觉-语言路径聚合网络（RepVL-PAN），该网络通过区域-文本对比损失促进视觉信息与语言信息的交互，增强了模型的检测能力。

关键创新：最重要的创新在于引入了RepVL-PAN和区域-文本对比损失，这与传统YOLO方法的类别依赖性形成了鲜明对比，使得模型能够在零样本情况下进行物体检测。

关键设计：在网络结构上，RepVL-PAN通过重参数化设计提高了模型的灵活性和效率；损失函数方面，区域-文本对比损失确保了视觉和语言信息的有效对齐，从而提升了检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

YOLO-World在LVIS数据集上取得了35.4 AP的成绩，并以52.0 FPS的速度运行，显著优于许多现有的先进检测方法。这一结果展示了其在准确性和速度上的双重优势，证明了开放词汇检测的有效性。

🎯 应用场景

YOLO-World在开放词汇物体检测领域具有广泛的应用潜力，适用于智能监控、自动驾驶、机器人视觉等多个场景。其高效的检测能力能够帮助系统在动态环境中识别未见过的物体，提升智能系统的适应性和灵活性。未来，该技术有望推动更多领域的智能化进程，促进人机交互的自然化。

📄 摘要（原文）

The You Only Look Once (YOLO) series of detectors have established themselves as efficient and practical tools. However, their reliance on predefined and trained object categories limits their applicability in open scenarios. Addressing this limitation, we introduce YOLO-World, an innovative approach that enhances YOLO with open-vocabulary detection capabilities through vision-language modeling and pre-training on large-scale datasets. Specifically, we propose a new Re-parameterizable Vision-Language Path Aggregation Network (RepVL-PAN) and region-text contrastive loss to facilitate the interaction between visual and linguistic information. Our method excels in detecting a wide range of objects in a zero-shot manner with high efficiency. On the challenging LVIS dataset, YOLO-World achieves 35.4 AP with 52.0 FPS on V100, which outperforms many state-of-the-art methods in terms of both accuracy and speed. Furthermore, the fine-tuned YOLO-World achieves remarkable performance on several downstream tasks, including object detection and open-vocabulary instance segmentation.