DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM

📄 arXiv: 2403.12488v3 📥 PDF

作者: Yixuan Wu, Yizhou Wang, Shixiang Tang, Wenhao Wu, Tong He, Wanli Ouyang, Philip Torr, Jian Wu

分类: cs.CV, cs.AI

发布日期: 2024-03-19 (更新: 2024-07-23)

💡 一句话要点

提出DetToolChain以提升多模态大语言模型的零-shot目标检测能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 目标检测 零-shot学习 思维链 检测提示工具包 上下文推理 开放词汇检测 智能应用

📋 核心要点

  1. 现有的多模态大语言模型在目标检测任务中表现不足，尤其是在零-shot场景下的准确性和效率较低。
  2. DetToolChain通过设计一个检测提示工具包和新的思维链，帮助模型更好地聚焦于区域信息和上下文推理，从而提升检测能力。
  3. 实验结果表明，DetToolChain显著提高了多项检测任务的性能，尤其是在开放词汇检测和指代表达理解方面，提升幅度可达24.23%。

📝 摘要（中文）

我们提出了DetToolChain，这是一种新颖的提示范式，旨在释放多模态大语言模型（MLLM）如GPT-4V和Gemini的零-shot目标检测能力。该方法包括一个检测提示工具包，灵感来源于高精度检测先验，以及一种新的思维链来实现这些提示。具体而言，工具包中的提示旨在引导MLLM关注区域信息、根据测量标准读取坐标，并从上下文信息中推断。基于这些工具，新检测思维链能够自动将任务分解为简单的子任务，诊断预测并规划逐步的框框精细化。我们的框架在一系列检测任务中表现出色，尤其是在困难案例中。与现有最先进的方法相比，使用DetToolChain的GPT-4V在MS COCO新类集的开放词汇检测中提高了21.5%的AP50，在RefCOCO验证集的零-shot指代表达理解中提高了24.23%的准确率，在D-cube描述对象检测的完整设置中提高了14.5%的AP。

🔬 方法详解

问题定义：本论文旨在解决现有多模态大语言模型在零-shot目标检测任务中的不足，尤其是在处理复杂场景和高精度需求时的挑战。现有方法往往无法有效利用上下文信息和区域特征，导致检测性能不佳。

核心思路：DetToolChain的核心思路是通过设计一个检测提示工具包，结合新的思维链，来引导模型更好地理解和处理目标检测任务。这种设计使得模型能够聚焦于关键区域信息，并利用上下文进行推理。

技术框架：整体架构包括两个主要模块：检测提示工具包和思维链。检测提示工具包提供了多种提示方式，帮助模型关注区域信息和坐标读取；思维链则负责将复杂任务分解为简单的子任务，并进行逐步的框框精细化。

关键创新：最重要的技术创新在于结合了高精度检测先验与思维链的设计，使得模型在处理复杂的目标检测任务时能够更有效地进行推理和决策。这一方法与传统的单一提示方式有本质区别。

关键设计：在参数设置上，工具包中的提示设计考虑了区域聚焦、坐标标准化等因素；损失函数和网络结构则经过优化，以适应多模态输入和复杂的上下文推理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，使用DetToolChain的GPT-4V在MS COCO新类集的开放词汇检测中提高了21.5%的AP50，在RefCOCO验证集的零-shot指代表达理解中提高了24.23%的准确率，D-cube描述对象检测的完整设置中提高了14.5%的AP，展现了显著的性能提升。

🎯 应用场景

DetToolChain的研究成果具有广泛的应用潜力，尤其是在自动驾驶、安防监控和智能家居等领域。通过提升多模态大语言模型的目标检测能力，可以实现更智能的场景理解和人机交互，推动相关技术的进步和应用落地。

📄 摘要（原文）

We present DetToolChain, a novel prompting paradigm, to unleash the zero-shot object detection ability of multimodal large language models (MLLMs), such as GPT-4V and Gemini. Our approach consists of a detection prompting toolkit inspired by high-precision detection priors and a new Chain-of-Thought to implement these prompts. Specifically, the prompts in the toolkit are designed to guide the MLLM to focus on regional information (e.g., zooming in), read coordinates according to measure standards (e.g., overlaying rulers and compasses), and infer from the contextual information (e.g., overlaying scene graphs). Building upon these tools, the new detection chain-of-thought can automatically decompose the task into simple subtasks, diagnose the predictions, and plan for progressive box refinements. The effectiveness of our framework is demonstrated across a spectrum of detection tasks, especially hard cases. Compared to existing state-of-the-art methods, GPT-4V with our DetToolChain improves state-of-the-art object detectors by +21.5% AP50 on MS COCO Novel class set for open-vocabulary detection, +24.23% Acc on RefCOCO val set for zero-shot referring expression comprehension, +14.5% AP on D-cube describe object detection FULL setting.