UniDFKD: A Unified Semantic Prior Framework for Architecture-Agnostic Data-Free Knowledge Distillation

📄 arXiv: 2608.09287v1 📥 PDF

作者: Xuewan He, Tong Chu, Zihan Cheng, Yuchen Su, Qianxin Xia, Guoming Lu, Jielei Wang, Wen Li

分类: cs.CV, cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出UniDFKD框架以解决数据无关知识蒸馏中的架构依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据无关知识蒸馏 语义先验 模型压缩 知识转移 视觉变换器 卷积神经网络 深度学习

📋 核心要点

  1. 现有数据无关知识蒸馏方法依赖于特定架构的统计先验，导致在现代架构中性能下降。
  2. UniDFKD框架通过引入架构无关的语义先验，重新定义了合成和蒸馏的过程，提升了合成数据的质量。
  3. 实验结果显示，UniDFKD在多种模型上表现优异，平均提升超过20%，设立了新的性能基准。

📝 摘要（中文）

数据无关知识蒸馏（DFKD）通过合成语义信息丰富的数据，将预训练教师模型的知识转移到紧凑的学生模型中，消除了对原始训练数据集的访问需求。现有DFKD方法严重依赖于特定架构的统计先验（如批量归一化统计）来指导数据合成，但在现代架构（如视觉变换器ViTs）中，这些架构依赖的先验往往缺失，导致合成数据的语义质量下降，从而造成性能严重退化。本文提出了UniDFKD，一个统一的数据无关知识蒸馏框架，用显式的架构无关语义先验替代架构特定的统计信息。UniDFKD在合成-蒸馏管道中从三个维度进行控制：类别语义调节、空间语义锚定和空间语义蒸馏。大量实验表明，UniDFKD在同质和异质设置中均超越现有方法，平均提升超过20%。

🔬 方法详解

问题定义：本文旨在解决数据无关知识蒸馏中对特定架构统计先验的依赖问题，尤其是在现代架构（如ViTs）中缺乏这些先验导致的性能下降。

核心思路：UniDFKD框架通过引入显式的架构无关语义先验，重新设计了合成和蒸馏的流程，以确保合成数据的语义质量和知识转移的有效性。

技术框架：UniDFKD的整体架构包括三个主要模块：类别语义调节（CSC）、空间语义锚定（SSA）和空间语义蒸馏（SSD）。CSC通过语言嵌入调节生成器，SSA将教师模型的空间归因锚定到高斯先验，而SSD则通过对齐教师和学生的空间证据来控制知识转移。

关键创新：UniDFKD的最大创新在于用架构无关的语义先验替代了传统的架构特定统计信息，确保了在不同模型架构下的有效性和适应性。

关键设计：在参数设置上，UniDFKD使用了语言嵌入来实现语义调节，损失函数设计上则强调了教师与学生之间的空间对齐，确保了知识的有效传递。整体网络结构兼容多种模型架构，具有良好的扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniDFKD在多种卷积神经网络和视觉变换器上进行了广泛实验，结果显示其在同质和异质设置中均超越现有方法，平均提升超过20%。这一显著的性能提升为数据无关知识蒸馏设立了新的基准，展示了其强大的应用潜力。

🎯 应用场景

UniDFKD框架在计算机视觉、自然语言处理等领域具有广泛的应用潜力，特别是在需要高效模型压缩和知识转移的场景中。其架构无关的特性使得该方法能够适应不同的模型架构，提升了知识蒸馏的灵活性和实用性，未来可能推动更多领域的智能应用发展。

📄 摘要（原文）

Data-Free Knowledge Distillation (DFKD) transfers knowledge from a pretrained teacher model to a compact student model by synthesizing semantically informative data, eliminating the need for access to the original training dataset. Existing DFKD methods rely heavily on architecture-specific statistical priors (e.g., Batch Normalization statistics) to guide data synthesis, however, such architecture-dependent priors are often absent in modern architectures such as Vision Transformers (ViTs), resulting in degraded semantic quality of the synthesized data and consequently catastrophic performance degradation. In this paper, we propose \emph{UniDFKD}, a unified data-free knowledge distillation framework that replaces architecture-specific statistics with explicit, architecture-agnostic semantic priors. \emph{UniDFKD} governs the entire synthesis-distillation pipeline along three dimensions: (1) Categorical Semantic Conditioning (CSC) defines \emph{what} to synthesize by persistently modulating the generator with language-derived embeddings to capture semantic diversity; (2) Spatial Semantic Anchoring (SSA) dictates \emph{where} evidence belongs by anchoring the teacher's spatial attributions to a Gaussian prior; and (3) Spatial Semantic Distillation (SSD) controls \emph{how} knowledge is transferred by explicitly aligning teacher-student spatial evidence alongside predictions. Extensive experiments across CNNs and ViTs demonstrate that UniDFKD establishes a new state-of-the-art, outperforming existing methods by an average absolute margin of over 20\% in both homogeneous and heterogeneous settings.