Griffon: Spelling out All Object Locations at Any Granularity with Large Language Models

📄 arXiv: 2311.14552v3 📥 PDF

作者: Yufei Zhan, Yousong Zhu, Zhiyang Chen, Fan Yang, Ming Tang, Jinqiao Wang

分类: cs.CV, cs.AI

发布日期: 2023-11-24 (更新: 2024-10-08)

备注: ECCV2024, Github: https://github.com/jefferyZhan/Griffon

🔗 代码/项目: GITHUB

💡 一句话要点

提出Griffon以解决LVLMs在物体定位中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型视觉语言模型 物体定位 细粒度感知 数据集构建 端到端训练 智能监控 增强现实

📋 核心要点

  1. 现有的LVLMs主要只能定位单一物体，限制了其在复杂场景中的应用。
  2. 论文提出Griffon，通过统一数据格式和端到端训练，提升LVLMs的物体定位能力。
  3. 实验结果显示，Griffon在多个数据集上表现优异，接近传统专家模型的性能。

📝 摘要（中文）

复制人类基于自由文本在任意粒度下检测所有物体的能力，对于大型视觉语言模型（LVLMs）而言仍然是一个巨大的挑战。目前的LVLMs主要局限于定位单一预先存在的物体，这一限制导致模型设计的妥协，需要引入视觉专家模型或定制头结构。我们的研究揭示了LVLMs在基本物体感知方面的能力，使其能够准确识别和定位感兴趣的物体。基于这一洞察，我们引入了一种新的语言提示定位数据集，以充分释放LVLMs在细粒度物体感知和精确位置意识方面的能力。更重要的是，我们提出了Griffon，一个纯粹基于LVLM的基线，不引入任何特殊标记、专家模型或额外检测模块。Griffon通过统一各种定位相关场景的数据格式，保持与流行LVLMs的一致结构，并通过精心设计的管道进行端到端训练。综合实验表明，Griffon在细粒度RefCOCO系列和Flickr30K Entities上实现了最先进的性能，并在检测基准MSCOCO上接近专家模型Faster RCNN的能力。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型（LVLMs）在物体定位中的局限性，尤其是只能定位单一预先存在物体的问题。这种局限性导致模型设计的妥协，无法充分发挥LVLMs的潜力。

核心思路：论文的核心思路是通过引入一种新的语言提示定位数据集，来提升LVLMs在细粒度物体感知和精确位置意识方面的能力。Griffon不依赖于特殊标记或专家模型，而是通过统一数据格式来简化模型结构。

技术框架：Griffon的整体架构包括数据预处理、模型训练和评估三个主要阶段。数据预处理阶段负责构建语言提示定位数据集，模型训练阶段采用端到端的方式进行训练，评估阶段则通过标准数据集验证模型性能。

关键创新：Griffon的最大创新在于其不引入任何特殊标记或额外检测模块，而是通过统一数据格式和端到端训练来提升LVLMs的物体定位能力。这一设计与现有方法的本质区别在于其简化了模型结构，提高了训练效率。

关键设计：在关键设计方面，Griffon采用了标准的损失函数和网络结构，确保模型在训练过程中的稳定性和有效性。同时，通过精心设计的管道，确保了数据流的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Griffon在细粒度RefCOCO系列和Flickr30K Entities上实现了最先进的性能，并在MSCOCO检测基准上接近Faster RCNN专家模型的能力，展示了其在物体定位任务中的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、增强现实等场景，能够帮助系统更好地理解和定位复杂环境中的物体。未来，Griffon的设计理念有望推动更多基于语言的视觉任务的发展，提升人机交互的智能化水平。

📄 摘要（原文）

Replicating the innate human ability to detect all objects based on free-form texts at any granularity remains a formidable challenge for Large Vision Language Models (LVLMs). Current LVLMs are predominantly constrained to locate a single, pre-existing object. This limitation leads to a compromise in model design, necessitating the introduction of visual expert models or customized head structures. Beyond these constraints, our research uncovers LVLMs' capability for basic object perception, allowing them to accurately identify and locate objects of interest. Building on this insight, we introduce a novel Language-prompted Localization Dataset to fully unleash the capabilities of LVLMs in fine-grained object perception and precise location awareness. More importantly, we present Griffon, a purely LVLM-based baseline, which does not introduce any special tokens, expert models, or additional detection modules. It simply maintains a consistent structure with popular LVLMs by unifying data formats across various localization-related scenarios and is trained end-to-end through a well-designed pipeline. Comprehensive experiments demonstrate that Griffon not only achieves state-of-the-art performance on the fine-grained RefCOCO series and Flickr30K Entities but also approaches the capabilities of the expert model Faster RCNN on the detection benchmark MSCOCO. Data, codes, and models are released at https://github.com/jefferyZhan/Griffon.