Distilling Out-of-Distribution Robustness from Vision-Language Foundation Models

📄 arXiv: 2311.01441v2 📥 PDF

作者: Andy Zhou, Jindong Wang, Yu-Xiong Wang, Haohan Wang

分类: cs.LG, cs.AI, cs.CV

发布日期: 2023-11-02 (更新: 2024-02-05)

备注: Published in NeurIPS 2023

💡 一句话要点

提出离线分布鲁棒性蒸馏框架以提升视觉模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线分布鲁棒性 知识蒸馏 对抗样本 数据增强 视觉模型

📋 核心要点

  1. 现有方法在处理离线分布数据时鲁棒性不足，导致模型在真实场景中的表现不佳。
  2. 本文提出的离散对抗蒸馏（DAD）方法，通过强鲁棒性教师生成对抗样本，结合数据增强，提升模型的鲁棒性。
  3. 实验结果表明，DAD方法在不同学生架构上均显著提高了离线分布鲁棒性和准确度，且计算开销较小。

📝 摘要（中文）

本文提出了一种概念上简单且轻量的框架，通过知识蒸馏与数据增强相结合，提升视觉模型的鲁棒性。我们通过实验证明，较大的模型并不一定是更好的教师，反而从预训练的基础模型中蒸馏能够显著提高离线分布鲁棒性。我们提出的离散对抗蒸馏（DAD）方法利用强鲁棒性的教师生成对抗样本，并通过VQGAN对其进行离散化，生成比标准数据增强技术更具信息量的样本。我们提供了理论框架，并在不同学生架构上展示了离线分布鲁棒性和干净准确度的显著提升。值得注意的是，与类似技术相比，我们的方法增加的计算开销很小，并且可以轻松与其他数据增强方法结合以进一步提升性能。

🔬 方法详解

问题定义：本文旨在解决视觉模型在离线分布数据上的鲁棒性不足问题。现有的知识蒸馏方法未能充分利用预训练模型的优势，导致模型在面对未知数据时表现不佳。

核心思路：我们提出的离散对抗蒸馏（DAD）方法，利用强鲁棒性的教师模型生成对抗样本，并通过VQGAN进行离散化，从而生成更具信息量的样本，提升模型的鲁棒性。

技术框架：该框架主要包括三个阶段：首先，使用预训练的教师模型生成对抗样本；其次，利用VQGAN对生成的样本进行离散化处理；最后，将这些样本与原始数据结合进行知识蒸馏训练。

关键创新：最重要的创新点在于通过强鲁棒性教师生成对抗样本，并结合VQGAN进行样本离散化，这一过程显著提升了数据的多样性和信息量，与传统的数据增强方法相比，效果更为显著。

关键设计：在设计中，我们设置了适当的损失函数以平衡教师与学生模型的学习过程，并在网络结构上采用了适应不同学生架构的灵活设计，确保了方法的通用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DAD方法在多个学生架构上均实现了显著的性能提升，离线分布鲁棒性提高了XX%，干净准确度提升了YY%。与基线方法相比，DAD方法在计算开销上仅增加了ZZ%，展现了良好的效率与效果平衡。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、医疗影像分析等，尤其是在需要处理未知或离线分布数据的场景中。通过提升模型的鲁棒性，可以显著提高这些系统在真实世界中的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose a conceptually simple and lightweight framework for improving the robustness of vision models through the combination of knowledge distillation and data augmentation. We address the conjecture that larger models do not make for better teachers by showing strong gains in out-of-distribution robustness when distilling from pretrained foundation models. Following this finding, we propose Discrete Adversarial Distillation (DAD), which leverages a robust teacher to generate adversarial examples and a VQGAN to discretize them, creating more informative samples than standard data augmentation techniques. We provide a theoretical framework for the use of a robust teacher in the knowledge distillation with data augmentation setting and demonstrate strong gains in out-of-distribution robustness and clean accuracy across different student architectures. Notably, our method adds minor computational overhead compared to similar techniques and can be easily combined with other data augmentations for further improvements.