Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning

📄 arXiv: 2403.01209v1 📥 PDF

作者: Shuo Yang, Zirui Shang, Yongqi Wang, Derong Deng, Hongwei Chen, Qiyuan Cheng, Xinxiao Wu

分类: cs.CV

发布日期: 2024-03-02

💡 一句话要点

提出无数据多标签图像识别框架以解决数据依赖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无数据学习 多标签分类 视觉-语言模型 大型语言模型 层次化提示学习 图像识别 深度学习

📋 核心要点

  1. 现有的多标签图像识别方法通常依赖大量标注数据，限制了其在无数据场景下的应用。
  2. 本文提出了一种无数据框架，通过利用预训练的LLM生成提示，适应VLM进行多标签分类。
  3. 在MS-COCO、VOC2007和NUS-WIDE等数据集上，实验结果显示该方法在mAP上超越了现有最先进的方法。

📝 摘要（中文）

本文提出了一种新颖的无数据多标签图像识别框架，利用预训练的大型语言模型（LLM）学习提示，以适应预训练的视觉-语言模型（VLM）如CLIP进行多标签分类。通过向LLM提出精心设计的问题，我们获取了关于对象特征和上下文的全面知识，为学习提示提供了有价值的文本描述。我们还提出了一种层次化提示学习方法，考虑了多标签依赖性，在相似属性或可能共现的对象之间共享类别特定的提示标记。实验结果表明，该方法在多个公共数据集上优于现有最先进的方法，尤其在MS-COCO数据集上超越零样本多标签识别方法4.7%的mAP。

🔬 方法详解

问题定义：本文旨在解决多标签图像识别中对训练数据的依赖问题。现有方法通常需要大量标注数据，导致在数据稀缺情况下的应用受限。

核心思路：通过利用预训练的大型语言模型（LLM），本文提出了一种无数据框架，借助LLM生成的提示来适应视觉-语言模型（VLM），如CLIP，从而实现多标签分类。

技术框架：该框架包括两个主要模块：首先，通过向LLM提出设计良好的问题，获取对象特征和上下文的文本描述；其次，基于这些描述进行层次化提示学习，考虑多标签之间的依赖关系。

关键创新：本文的创新之处在于提出了一种无数据的多标签图像识别方法，利用LLM生成提示并通过层次化学习来共享类别特定的提示标记，显著提升了分类性能。

关键设计：在提示学习过程中，设计了共享类别特定提示标记的机制，以便在相似属性或共现对象之间进行有效的信息传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MS-COCO数据集上，本文方法在mAP指标上超越了现有的零样本多标签识别方法4.7%，显示出显著的性能提升。此外，实验结果在VOC2007和NUS-WIDE数据集上也表现出优越性，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、自动标注和内容推荐等，尤其适用于数据稀缺的场景。通过减少对标注数据的依赖，能够在更多实际应用中实现高效的多标签图像识别，推动相关技术的发展。

📄 摘要（原文）

This paper proposes a novel framework for multi-label image recognition without any training data, called data-free framework, which uses knowledge of pre-trained Large Language Model (LLM) to learn prompts to adapt pretrained Vision-Language Model (VLM) like CLIP to multilabel classification. Through asking LLM by well-designed questions, we acquire comprehensive knowledge about characteristics and contexts of objects, which provides valuable text descriptions for learning prompts. Then we propose a hierarchical prompt learning method by taking the multi-label dependency into consideration, wherein a subset of category-specific prompt tokens are shared when the corresponding objects exhibit similar attributes or are more likely to co-occur. Benefiting from the remarkable alignment between visual and linguistic semantics of CLIP, the hierarchical prompts learned from text descriptions are applied to perform classification of images during inference. Our framework presents a new way to explore the synergies between multiple pre-trained models for novel category recognition. Extensive experiments on three public datasets (MS-COCO, VOC2007, and NUS-WIDE) demonstrate that our method achieves better results than the state-of-the-art methods, especially outperforming the zero-shot multi-label recognition methods by 4.7% in mAP on MS-COCO.