Zoom-shot: Fast and Efficient Unsupervised Zero-Shot Transfer of CLIP to Vision Encoders with Multimodal Loss

📄 arXiv: 2401.11633v1 📥 PDF

作者: Jordan Shipard, Arnold Wiliem, Kien Nguyen Thanh, Wei Xiang, Clinton Fookes

分类: cs.CV, cs.AI

发布日期: 2024-01-22

备注: 15 pages

💡 一句话要点

提出Zoom-shot以解决VLM训练资源消耗问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 零-shot学习 多模态损失 知识蒸馏 无监督学习 图像分类 CLIP

📋 核心要点

  1. 现有的视觉语言模型（VLMs）在资源消耗上存在显著挑战，限制了其广泛应用。
  2. 本文提出Zoom-shot，通过多模态损失函数将CLIP的零-shot能力高效转移到预训练视觉编码器。
  3. 实验结果显示，Zoom-shot在多个分类任务上超越了现有技术，并且训练数据需求显著降低。

📝 摘要（中文）

视觉与语言的融合通过视觉语言模型（VLMs）带来了计算机视觉的变革。然而，现有VLMs的资源消耗问题显著。为了解决这一问题，本文提出了Zoom-shot，一种将CLIP的零-shot能力转移到任何预训练视觉编码器的新方法。通过设计多模态损失函数（包括循环一致性损失和新颖的提示引导知识蒸馏损失），Zoom-shot能够在仅一个epoch内训练出CLIP潜在空间与视觉编码器潜在空间之间的线性映射。实验表明，Zoom-shot在多种分类数据集上超越了之前的最先进技术，并且能够在训练数据量减少的情况下保持性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在训练过程中资源消耗高的问题，限制了其在实际应用中的可及性。

核心思路：Zoom-shot通过利用CLIP的多模态信息，设计特定的损失函数，将其零-shot能力转移到其他视觉编码器，从而实现高效训练。

技术框架：整体流程包括使用循环一致性损失和提示引导知识蒸馏损失（PG-KD）来训练CLIP潜在空间与视觉编码器潜在空间之间的线性映射，整个过程仅需一个epoch。

关键创新：最重要的创新在于提出了PG-KD损失，它结合了知识蒸馏与CLIP的零-shot分类，能够有效捕捉文本与图像特征之间的交互。

关键设计：设计了循环一致性损失和PG-KD损失，确保在无监督和无配对数据的情况下进行训练，同时通过减少训练数据量（从20%降至1%）实现了性能的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Zoom-shot在多个粗细粒度分类数据集上超越了之前的最先进技术，且在训练数据量减少的情况下，性能依然保持良好，训练效率显著提升。具体而言，训练数据从20%减少到1%时，仍能获得最佳结果。

🎯 应用场景

Zoom-shot的研究成果在多模态学习、计算机视觉和自然语言处理等领域具有广泛的应用潜力。其高效的训练方法可以推动新一代视觉语言模型的开发，降低资源消耗，使得更多研究者和开发者能够在实际应用中利用这些先进技术。

📄 摘要（原文）

The fusion of vision and language has brought about a transformative shift in computer vision through the emergence of Vision-Language Models (VLMs). However, the resource-intensive nature of existing VLMs poses a significant challenge. We need an accessible method for developing the next generation of VLMs. To address this issue, we propose Zoom-shot, a novel method for transferring the zero-shot capabilities of CLIP to any pre-trained vision encoder. We do this by exploiting the multimodal information (i.e. text and image) present in the CLIP latent space through the use of specifically designed multimodal loss functions. These loss functions are (1) cycle-consistency loss and (2) our novel prompt-guided knowledge distillation loss (PG-KD). PG-KD combines the concept of knowledge distillation with CLIP's zero-shot classification, to capture the interactions between text and image features. With our multimodal losses, we train a $\textbf{linear mapping}$ between the CLIP latent space and the latent space of a pre-trained vision encoder, for only a $\textbf{single epoch}$. Furthermore, Zoom-shot is entirely unsupervised and is trained using $\textbf{unpaired}$ data. We test the zero-shot capabilities of a range of vision encoders augmented as new VLMs, on coarse and fine-grained classification datasets, outperforming the previous state-of-the-art in this problem domain. In our ablations, we find Zoom-shot allows for a trade-off between data and compute during training; and our state-of-the-art results can be obtained by reducing training from 20% to 1% of the ImageNet training data with 20 epochs. All code and models are available on GitHub.