Knowledge Transfer from Vision Foundation Models for Efficient Training of Small Task-specific Models

📄 arXiv: 2311.18237v3 📥 PDF

作者: Raviteja Vemulapalli, Hadi Pouransari, Fartash Faghri, Sachin Mehta, Mehrdad Farajtabar, Mohammad Rastegari, Oncel Tuzel

分类: cs.CV, cs.LG

发布日期: 2023-11-30 (更新: 2024-07-02)

备注: International Conference on Machine Learning, 2024

💡 一句话要点

提出任务导向知识转移方法以高效训练小型任务特定模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识转移 视觉基础模型 小型模型 任务特定训练 计算成本降低 图像检索 深度学习

📋 核心要点

  1. 现有的视觉基础模型在推理时计算成本高，限制了其在实际应用中的部署。
  2. 本文提出了一种任务导向的知识转移方法，旨在从大型VFM中提取知识以训练小型任务特定模型。
  3. 实验结果显示，该方法在多个任务上显著提升了性能，并大幅降低了预训练计算成本。

📝 摘要（中文）

视觉基础模型（VFM）在大规模数据集上预训练后，在各种下游任务中表现出色，尤其是在标记数据有限的情况下。然而，由于其高推理计算成本，这些模型无法广泛应用于许多实际场景。为此，本文提出了一种简单的任务导向知识转移方法，旨在利用大型VFM的知识来训练小型任务特定模型。实验结果表明，该方法在五个目标任务上均优于任务无关的VFM蒸馏、网络规模的CLIP预训练、监督的ImageNet预训练和自监督的DINO预训练，性能提升幅度分别达到11.6%、22.1%、13.7%和29.8%。此外，该方法在预训练计算成本上也显示出显著降低，分别比任务无关的VFM蒸馏、ImageNet预训练和DINO预训练减少了9倍、4倍和15倍，同时仍然超越了它们。

🔬 方法详解

问题定义：本文解决的问题是如何在标记数据有限的情况下，利用大型视觉基础模型（VFM）来高效训练小型任务特定模型。现有方法如VFM蒸馏在计算成本和性能上存在不足，无法满足实际需求。

核心思路：论文提出的核心思路是通过任务导向的知识转移，利用大型VFM的知识来指导小型模型的训练。这种方法能够有效减少对标记数据的依赖，同时降低计算成本。

技术框架：整体架构包括知识提取、知识转移和模型训练三个主要模块。首先，从大型VFM中提取知识，然后通过特定的策略将这些知识转移到小型模型，最后进行模型的训练和优化。

关键创新：最重要的技术创新点在于引入了检索增强的知识转移策略，通过网络规模的图像检索来策划有效的知识转移集。这一方法显著提高了目标任务的性能。

关键设计：在参数设置上，论文对损失函数进行了优化，以适应知识转移的需求。同时，网络结构设计上采用了轻量级模型，以确保在计算资源有限的情况下仍能实现高效训练。具体的技术细节包括使用特定的超参数和训练策略，以最大化知识转移的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在五个目标任务上均优于多种基线方法，性能提升幅度分别达到11.6%、22.1%、13.7%和29.8%。此外，该方法在预训练计算成本上也实现了显著降低，分别比任务无关的VFM蒸馏、ImageNet预训练和DINO预训练减少了9倍、4倍和15倍，展现了其高效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测和图像分割等任务，尤其适用于数据稀缺的场景。通过高效的知识转移方法，小型模型能够在资源受限的环境中实现较高的性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision Foundation Models (VFMs) pretrained on massive datasets exhibit impressive performance on various downstream tasks, especially with limited labeled target data. However, due to their high inference compute cost, these models cannot be deployed for many real-world applications. Motivated by this, we ask the following important question, "How can we leverage the knowledge from a large VFM to train a small task-specific model for a new target task with limited labeled training data?", and propose a simple task-oriented knowledge transfer approach as a highly effective solution to this problem. Our experimental results on five target tasks show that the proposed approach outperforms task-agnostic VFM distillation, web-scale CLIP pretraining, supervised ImageNet pretraining, and self-supervised DINO pretraining by up to 11.6%, 22.1%, 13.7%, and 29.8%, respectively. Furthermore, the proposed approach also demonstrates up to 9x, 4x and 15x reduction in pretraining compute cost when compared to task-agnostic VFM distillation, ImageNet pretraining and DINO pretraining, respectively, while outperforming them. We also show that the dataset used for transferring knowledge has a significant effect on the final target task performance, and introduce a retrieval-augmented knowledge transfer strategy that uses web-scale image retrieval to curate effective transfer sets.