Meta-Prompting for Automating Zero-shot Visual Recognition with LLMs

📄 arXiv: 2403.11755v3 📥 PDF

作者: M. Jehanzeb Mirza, Leonid Karlinsky, Wei Lin, Sivan Doveh, Jakub Micorek, Mateusz Kozinski, Hilde Kuehne, Horst Possegger

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-18 (更新: 2024-08-07)

备注: ECCV Camera Ready. Code & Data: https://jmiemirza.github.io/Meta-Prompting/

💡 一句话要点

提出Meta-Prompting以自动化零-shot视觉识别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot识别 视觉-语言模型 自动化提示生成 大型语言模型 图像分类

📋 核心要点

  1. 现有方法依赖手工编写提示，难以覆盖多样化的视觉概念，限制了零-shot识别的有效性。
  2. 本文提出MPVR，通过简短的自然语言描述和类别标签自动生成多样化的类别特定提示，完全自动化提示生成过程。
  3. MPVR在多个零-shot图像识别基准上表现优异，相较于CLIP，识别性能提升显著，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLM）生成的类别特定提示的提示集成已成为增强视觉-语言模型（VLM）零-shot识别能力的有效方法。现有方法依赖于手工编写提示，难以覆盖多样化的视觉概念和任务特定风格。为此，本文提出Meta-Prompting for Visual Recognition（MPVR），通过输入简短的自然语言描述和相关类别标签，自动生成多样化的类别特定提示，从而实现强大的零-shot分类器。MPVR在多个流行的零-shot图像识别基准上表现出色，相较于CLIP，使用GPT和Mixtral LLM时，识别性能分别提升了19.8%和18.2%。

🔬 方法详解

问题定义：本文旨在解决现有零-shot视觉识别方法中手工编写提示的局限性，现有方法难以覆盖多样化的视觉概念和任务特定风格，导致识别性能不足。

核心思路：MPVR通过输入简短的自然语言描述和相关类别标签，自动生成多样化的类别特定提示，从而实现零-shot分类器的自动化生成，减少人工干预。

技术框架：MPVR的整体架构包括输入模块（接收自然语言描述和类别标签）、提示生成模块（自动生成类别特定提示）和分类模块（基于生成的提示进行分类）。

关键创新：MPVR的核心创新在于完全自动化的提示生成过程，避免了手工编写的局限性，能够生成多样化的提示以适应不同的视觉概念。

关键设计：在设计中，MPVR采用了多种LLM进行提示生成，并通过优化算法确保生成的提示覆盖广泛的视觉概念和任务特定风格，提升了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MPVR在多个零-shot图像识别基准上表现出色，相较于CLIP，使用GPT和Mixtral LLM时，识别性能分别提升了19.8%和18.2%，在20个数据集上的平均提升为5.0%和4.5%。

🎯 应用场景

该研究的潜在应用领域包括自动化图像分类、智能监控、医疗影像分析等。通过自动生成提示，MPVR能够在多种视觉识别任务中提高效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Prompt ensembling of Large Language Model (LLM) generated category-specific prompts has emerged as an effective method to enhance zero-shot recognition ability of Vision-Language Models (VLMs). To obtain these category-specific prompts, the present methods rely on hand-crafting the prompts to the LLMs for generating VLM prompts for the downstream tasks. However, this requires manually composing these task-specific prompts and still, they might not cover the diverse set of visual concepts and task-specific styles associated with the categories of interest. To effectively take humans out of the loop and completely automate the prompt generation process for zero-shot recognition, we propose Meta-Prompting for Visual Recognition (MPVR). Taking as input only minimal information about the target task, in the form of its short natural language description, and a list of associated class labels, MPVR automatically produces a diverse set of category-specific prompts resulting in a strong zero-shot classifier. MPVR generalizes effectively across various popular zero-shot image recognition benchmarks belonging to widely different domains when tested with multiple LLMs and VLMs. For example, MPVR obtains a zero-shot recognition improvement over CLIP by up to 19.8% and 18.2% (5.0% and 4.5% on average over 20 datasets) leveraging GPT and Mixtral LLMs, respectively