Query-Based Knowledge Sharing for Open-Vocabulary Multi-Label Classification

📄 arXiv: 2401.01181v1 📥 PDF

作者: Xuelin Zhu, Jian Liu, Dongqi Tang, Jiawei Ge, Weijia Liu, Bo Liu, Jiuxin Cao

分类: cs.CV

发布日期: 2024-01-02

💡 一句话要点

提出基于查询的知识共享以解决开放词汇多标签分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多标签分类 零-shot学习 知识共享 视觉-语言模型 查询标记 开放词汇 知识蒸馏

📋 核心要点

  1. 多标签零-shot学习面临的主要挑战是如何有效识别训练时未见的标签，现有知识蒸馏方法效果有限。
  2. 本文提出了一种基于查询的知识共享方法，通过训练标签无关的查询标记提取关键视觉信息，并在所有标签间共享。
  3. 实验结果表明，本文方法在NUS-WIDE和Open Images数据集上分别提升了5.9%和4.5%的mAP，显著超越了现有最先进的方法。

📝 摘要（中文）

在计算机视觉中，识别训练期间未出现的标签，即多标签零-shot学习，是一项复杂的任务。为此，近期研究尝试通过知识蒸馏探索视觉-语言预训练模型的多模态知识，以开放词汇的方式识别未见标签。然而，实验结果表明，知识蒸馏的效果有限，提升不明显。本文提出了一种新颖的基于查询的知识共享范式，旨在利用预训练的视觉-语言模型进行开放词汇多标签分类。具体而言，训练了一组可学习的标签无关查询标记，从输入图像中提取关键视觉知识，并在所有标签之间共享，使其能够选择感兴趣的标记作为识别的视觉线索。此外，本文还提出了有效的提示池以增强标签嵌入，并将标准排名学习重新构造为分类形式，以便于特征向量的匹配，从而显著提升标签识别的效果。实验结果显示，本文框架在零-shot任务上在NUS-WIDE和Open Images数据集上分别提升了5.9%和4.5%的mAP，显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决开放词汇多标签分类中的零-shot学习问题，现有的知识蒸馏方法在未见标签预测上效果不佳，提升有限。

核心思路：提出基于查询的知识共享范式，通过训练可学习的标签无关查询标记，从输入图像中提取关键视觉知识，并在所有标签间共享，以增强标签识别能力。

技术框架：整体框架包括输入图像处理、查询标记的训练、视觉知识提取、标签间的知识共享以及标签嵌入的提示池，形成一个闭环的学习过程。

关键创新：最重要的创新在于引入了标签无关的查询标记和有效的提示池，重新构造了标准排名学习为分类形式，使得特征向量的匹配更加有效，与传统的知识蒸馏方法形成鲜明对比。

关键设计：在参数设置上，查询标记的数量和学习率进行了精细调整，损失函数采用了结合标签嵌入的分类损失，以确保特征向量的有效匹配和标签识别的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的框架在NUS-WIDE和Open Images数据集上分别提升了5.9%和4.5%的mAP，显著优于当前最先进的方法，验证了基于查询的知识共享在零-shot学习中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在开放词汇的图像分类、自动标注和多媒体检索等领域。通过有效识别未见标签，能够提升计算机视觉系统的智能化水平，推动相关技术的进一步发展。未来，该方法还可扩展至其他多模态学习任务，具有重要的实际价值和影响力。

📄 摘要（原文）

Identifying labels that did not appear during training, known as multi-label zero-shot learning, is a non-trivial task in computer vision. To this end, recent studies have attempted to explore the multi-modal knowledge of vision-language pre-training (VLP) models by knowledge distillation, allowing to recognize unseen labels in an open-vocabulary manner. However, experimental evidence shows that knowledge distillation is suboptimal and provides limited performance gain in unseen label prediction. In this paper, a novel query-based knowledge sharing paradigm is proposed to explore the multi-modal knowledge from the pretrained VLP model for open-vocabulary multi-label classification. Specifically, a set of learnable label-agnostic query tokens is trained to extract critical vision knowledge from the input image, and further shared across all labels, allowing them to select tokens of interest as visual clues for recognition. Besides, we propose an effective prompt pool for robust label embedding, and reformulate the standard ranking learning into a form of classification to allow the magnitude of feature vectors for matching, which both significantly benefit label recognition. Experimental results show that our framework significantly outperforms state-of-the-art methods on zero-shot task by 5.9% and 4.5% in mAP on the NUS-WIDE and Open Images, respectively.