Zero-Shot Distillation for Image Encoders: How to Make Effective Use of Synthetic Data

📄 arXiv: 2404.16637v1 📥 PDF

作者: Niclas Popp, Jan Hendrik Metzen, Matthias Hein

分类: cs.CV

发布日期: 2024-04-25

💡 一句话要点

提出零-shot蒸馏方法以有效利用合成数据

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零-shot学习 知识蒸馏 合成数据 图像编码器 多模态模型

📋 核心要点

  1. 现有的多模态基础模型在资源受限环境中应用受限，主要由于其庞大的参数量和高推理时间。
  2. 本文提出了一种新的零-shot蒸馏方法，专注于训练较小的图像编码器变体，并利用合成数据进行有效的知识蒸馏。
  3. 实验结果表明，使用L2蒸馏损失的学生模型在多个领域特定数据集上实现了与大型教师模型相当的零-shot性能，同时显著减少了参数量。

📝 摘要（中文）

多模态基础模型如CLIP展现了令人印象深刻的零-shot能力，但由于参数众多和推理时间长，其在资源受限环境中的适用性有限。现有方法主要缩减整个CLIP架构，而本文聚焦于训练较小的图像编码器变体，以实现高效的零-shot分类。尽管合成数据在从大型教师模型中蒸馏表示方面表现出色，但在真实的零-shot设置中，使用对比损失时效果不佳。我们发现，伪特征的利用导致了合成数据与真实数据之间的泛化能力差。通过使用基于图像特征的L2蒸馏损失，我们缓解了这些问题，训练出的学生模型在四个领域特定数据集上的零-shot性能与在DataCompXL上训练的ViT-B/32教师模型相当，同时参数减少了92%。

🔬 方法详解

问题定义：本文旨在解决多模态基础模型在资源受限环境中的应用问题，现有方法主要通过缩减整个模型架构来降低复杂性，但效果有限。

核心思路：论文提出通过训练较小的图像编码器变体，并结合合成数据进行知识蒸馏，以实现高效的零-shot分类。使用L2蒸馏损失来克服合成数据与真实数据之间的泛化问题。

技术框架：整体架构包括教师模型和学生模型的设置，教师模型为大型的CLIP模型，学生模型为参数更少的图像编码器。训练过程中使用合成数据进行知识蒸馏，采用L2损失函数来优化学生模型的表现。

关键创新：最重要的创新在于提出了基于图像特征的L2蒸馏损失，这一方法有效缓解了伪特征对模型泛化能力的负面影响，与传统的对比损失方法形成鲜明对比。

关键设计：在参数设置上，学生模型的参数量减少了92%，同时在训练过程中采用了合成数据进行蒸馏，确保了模型在零-shot任务中的有效性。

📊 实验亮点

实验结果显示，使用L2蒸馏损失的学生模型在四个领域特定数据集上实现的零-shot性能与ViT-B/32教师模型相当，同时参数量减少了92%。这一显著的性能提升证明了新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括资源受限的移动设备、嵌入式系统以及需要快速推理的实时应用场景。通过有效利用合成数据，研究成果有望推动小型模型在实际应用中的广泛使用，提升其在多模态任务中的表现。

📄 摘要（原文）

Multi-modal foundation models such as CLIP have showcased impressive zero-shot capabilities. However, their applicability in resource-constrained environments is limited due to their large number of parameters and high inference time. While existing approaches have scaled down the entire CLIP architecture, we focus on training smaller variants of the image encoder, which suffices for efficient zero-shot classification. The use of synthetic data has shown promise in distilling representations from larger teachers, resulting in strong few-shot and linear probe performance. However, we find that this approach surprisingly fails in true zero-shot settings when using contrastive losses. We identify the exploitation of spurious features as being responsible for poor generalization between synthetic and real data. However, by using the image feature-based L2 distillation loss, we mitigate these problems and train students that achieve zero-shot performance which on four domain-specific datasets is on-par with a ViT-B/32 teacher model trained on DataCompXL, while featuring up to 92% fewer parameters.