De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts

📄 arXiv: 2403.19539v1 📥 PDF

作者: Yuzheng Wang, Dingkang Yang, Zhaoyu Chen, Yang Liu, Siao Liu, Wenqiang Zhang, Lihua Zhang, Lizhe Qi

分类: cs.CV

发布日期: 2024-03-28

备注: Accepted by CVPR24

💡 一句话要点

提出因果干预框架以解决数据无关知识蒸馏中的分布偏移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果推断 知识蒸馏 数据无关 分布偏移 模型压缩 计算机视觉

📋 核心要点

  1. 现有数据无关知识蒸馏方法在处理替代数据与原始数据之间的分布偏移时存在显著性能瓶颈。
  2. 本文提出了一种基于因果推断的知识蒸馏因果干预框架（KDCI），旨在去除混杂因素的影响。
  3. 实验结果显示，KDCI在与六种代表性DFKD方法结合时，能够在几乎所有设置下显著提升性能。

📝 摘要（中文）

数据无关知识蒸馏（DFKD）是一项有前景的任务，旨在在不依赖原始训练数据的情况下训练高性能的小模型，以增强实际部署能力。现有方法通常通过利用合成或采样数据来避免依赖私有数据。然而，严重的分布偏移问题常常被忽视，这种偏移表现为替代数据与原始数据在图像质量和类别比例上的巨大差异。本文提出了一种新的因果推断视角，通过设计定制的因果图来揭示DFKD任务中变量之间的因果关系，并提出基于后门调整的知识蒸馏因果干预（KDCI）框架，以去除混杂因素的影响。实验结果表明，KDCI能够显著提升现有方法的性能，在CIFAR-100数据集上提高基线准确率达15.54%。

🔬 方法详解

问题定义：本文解决的是数据无关知识蒸馏（DFKD）中，由于替代数据与原始数据之间存在严重的分布偏移，导致模型性能瓶颈的问题。现有方法未能有效处理这种混杂因素。

核心思路：论文通过引入因果推断的视角，设计了一个定制的因果图，揭示DFKD任务中变量之间的因果关系，从而提出KDCI框架以去除混杂因素的影响。

技术框架：KDCI框架主要包括因果图的构建、因果关系的识别以及后门调整的实施。通过这些步骤，KDCI能够灵活地与现有的最先进基线结合。

关键创新：最重要的创新点在于将因果推断应用于DFKD任务，提出了基于后门调整的干预方法，从而有效去除了分布偏移带来的负面影响。这一方法与传统基于合成数据的蒸馏方法本质上不同。

关键设计：在KDCI框架中，设计了特定的损失函数以优化因果干预效果，并通过实验验证了不同参数设置对模型性能的影响。

📊 实验亮点

实验结果表明，KDCI框架在与六种代表性DFKD方法结合时，能够在几乎所有设置下显著提升性能。例如，在CIFAR-100数据集上，KDCI将基线准确率提升了高达15.54%。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测等计算机视觉任务，尤其是在数据隐私受限或数据获取困难的场景下。通过提升小模型的性能，KDCI框架能够在实际部署中提供更高的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Data-Free Knowledge Distillation (DFKD) is a promising task to train high-performance small models to enhance actual deployment without relying on the original training data. Existing methods commonly avoid relying on private data by utilizing synthetic or sampled data. However, a long-overlooked issue is that the severe distribution shifts between their substitution and original data, which manifests as huge differences in the quality of images and class proportions. The harmful shifts are essentially the confounder that significantly causes performance bottlenecks. To tackle the issue, this paper proposes a novel perspective with causal inference to disentangle the student models from the impact of such shifts. By designing a customized causal graph, we first reveal the causalities among the variables in the DFKD task. Subsequently, we propose a Knowledge Distillation Causal Intervention (KDCI) framework based on the backdoor adjustment to de-confound the confounder. KDCI can be flexibly combined with most existing state-of-the-art baselines. Experiments in combination with six representative DFKD methods demonstrate the effectiveness of our KDCI, which can obviously help existing methods under almost all settings, \textit{e.g.}, improving the baseline by up to 15.54\% accuracy on the CIFAR-100 dataset.