Grid-Preserving Knowledge Distillation: Transferring Convolutional Inductive Bias to Vision Transformers under Data Scarcity
作者: Junyong Choi, Cheolhyeon Park, Jaehoon Cho
分类: cs.CV
发布日期: 2026-08-11
💡 一句话要点
提出iBKD以解决数据稀缺下ViT性能不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 视觉变换器 卷积神经网络 归纳偏置 数据稀缺 计算机视觉 深度学习
📋 核心要点
- 现有的知识蒸馏方法在数据稀缺情况下无法有效传递卷积网络的归纳偏置，导致ViT性能不足。
- 本文提出的iBKD框架通过归纳偏置注意力模块，保持了空间网格结构，从而更好地传递信息。
- 在七个变换器骨干网络和六个数据稀缺基准上，iBKD的性能显著优于传统的局部指导方法和通用蒸馏基线。
📝 摘要（中文）
在数据稀缺的情况下，视觉变换器（ViT）的表现不及卷积神经网络（CNN）。通过从CNN教师模型中蒸馏卷积归纳偏置是一种有效的解决方案。然而，现有的通用特征蒸馏方法在这一背景下效果有限，因为它们在CNN到CNN的传递过程中丢失了空间网格信息。本文提出了一种名为iBKD的蒸馏框架，旨在沿整个传递路径保持网格结构。其核心模块为归纳偏置注意力模块，通过学习的权重将每个学生层聚合到教师网格上，并通过卷积交叉注意力注入结构线索。实验表明，iBKD在七个变换器骨干网络和六个数据稀缺基准上均优于现有方法，且随着训练数据的减少，性能提升幅度加大。
🔬 方法详解
问题定义：本文旨在解决在训练数据稀缺的情况下，视觉变换器（ViT）相较于卷积神经网络（CNN）表现不佳的问题。现有的知识蒸馏方法在特征传递过程中丢失了空间网格信息，导致ViT无法有效重建局部结构。
核心思路：论文提出的iBKD框架通过归纳偏置注意力模块，保持了卷积网络的空间网格结构，从而在知识蒸馏过程中有效传递卷积归纳偏置。该设计使得ViT能够更好地利用局部信息和空间关系。
技术框架：iBKD的整体架构包括归纳偏置注意力模块，该模块在训练阶段将学生层聚合到教师网格上，并通过卷积交叉注意力注入结构线索。该模块仅在训练期间使用，部署模型为未修改的ViT，无推理开销。
关键创新：iBKD的核心创新在于通过学习的权重将学生层映射到教师网格，保持了空间结构信息。这一方法与传统的特征蒸馏方法本质上不同，后者往往忽略了空间网格的保持。
关键设计：在设计中，归纳偏置注意力模块使用了通道和可变形空间注意力来增强结构线索的提取，确保了信息的有效传递。
🖼️ 关键图片
📊 实验亮点
在七个变换器骨干网络和六个数据稀缺基准上，iBKD的性能显著优于传统的局部指导方法和通用知识蒸馏基线，尤其是在训练数据减少时，性能提升幅度加大，显示出其优越性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测和图像分割等任务，尤其是在数据稀缺的场景下。通过有效地传递卷积网络的归纳偏置，iBKD可以提升ViT在实际应用中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision Transformers underperform convolutional networks when training data is scarce, and distilling convolutional inductive biases from a CNN teacher is an effective remedy that leaves the deployed model unchanged. General-purpose feature distillation, however, transfers little in this setting. The pooling, flattening, and logit-space projections it inherits from CNN to CNN pipelines discard the spatial grid in which locality and translation equivariance are encoded, and unlike a convolutional student, a ViT cannot rebuild that structure on its own. In this paper, we propose iBKD, a distillation framework that preserves the grid along the entire transfer path. Its core module, the Inductive Bias Attention Module, aggregates every student layer onto the teacher grid with learned weights, sharpens structural cues with channel and deformable spatial attention, and injects them through convolutional cross-attention that operates between grids rather than between token sets. The module is used only during training, so the deployed model is an unmodified ViT with no inference overhead. Across seven Transformer backbones and six data-scarce benchmarks, iBKD outperforms both locality-guidance methods and general knowledge distillation baselines, and its margin widens as training data shrinks.