Cross-Level Multi-Instance Distillation for Self-Supervised Fine-Grained Visual Categorization

📄 arXiv: 2401.08860v3 📥 PDF

作者: Qi Bi, Wei Ji, Jingjun Yi, Haolan Zhan, Gui-Song Xia

分类: cs.CV

发布日期: 2024-01-16 (更新: 2025-06-24)

备注: Accepted by IEEE Transactions on Image Processing (TIP)

💡 一句话要点

提出跨层多实例蒸馏框架以解决自监督细粒度视觉分类问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 细粒度视觉分类 自监督学习 多实例学习 知识蒸馏 图像处理

📋 核心要点

  1. 现有自监督学习方法在细粒度视觉分类中表现不佳，主要由于对图像块的处理不足。
  2. 本文提出跨层多实例蒸馏框架，利用多实例学习关注关键图像块的重要性，从而改进细粒度表示。
  3. 在多个数据集上进行的实验表明，所提方法在准确率和检索性能上显著优于现有技术。

📝 摘要（中文）

高质量的细粒度视觉类别标注需要大量专家知识，耗时且繁琐。自监督学习通过大量未标注图像学习细粒度视觉表示成为可行方案。然而，现有自监督学习方法在细粒度类别表示上效果不佳，主要由于预文本表示依赖于每个图像块的嵌入，而细粒度类别仅由几个关键图像块决定。本文提出跨层多实例蒸馏（CMD）框架，考虑每个图像块在细粒度预文本表示中的重要性，通过多实例学习实现知识蒸馏。实验结果表明，该方法在CUB-200-2011、Stanford Cars和FGVC Aircraft数据集上，较现有方法提升了最高10.14%，较最先进的自监督学习方法提升了最高19.78%。

🔬 方法详解

问题定义：本文旨在解决现有自监督学习方法在细粒度视觉分类中的不足，尤其是对关键图像块的忽视，导致细粒度类别表示不准确。

核心思路：提出跨层多实例蒸馏框架，通过多实例学习关注每个图像块的重要性，从而提升细粒度预文本表示的质量。

技术框架：该框架包括教师网络和学生网络，分别提取区域和图像裁剪对的特征，并在教师/学生网络内部进行区域-图像裁剪的蒸馏，分为内部和外部蒸馏。

关键创新：最重要的创新在于引入了跨层多实例蒸馏机制，综合考虑了图像块与细粒度语义之间的关系，显著提升了表示能力。

关键设计：在损失函数设计上，结合了多实例学习的思想，确保关键图像块的特征能够有效传递，同时优化了网络结构以适应蒸馏过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提跨层多实例蒸馏方法在CUB-200-2011、Stanford Cars和FGVC Aircraft数据集上，较现有方法提高了最高10.14%的准确率，较最先进的自监督学习方法提升了最高19.78%的性能，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括生物物种识别、品牌识别等细粒度视觉分类任务。通过提升自监督学习在细粒度分类中的表现，能够减少对人工标注的依赖，降低成本，提高效率，具有广泛的实际价值和影响力。

📄 摘要（原文）

High-quality annotation of fine-grained visual categories demands great expert knowledge, which is taxing and time consuming. Alternatively, learning fine-grained visual representation from enormous unlabeled images (e.g., species, brands) by self-supervised learning becomes a feasible solution. However, recent researches find that existing self-supervised learning methods are less qualified to represent fine-grained categories. The bottleneck lies in that the pre-text representation is built from every patch-wise embedding, while fine-grained categories are only determined by several key patches of an image. In this paper, we propose a Cross-level Multi-instance Distillation (CMD) framework to tackle the challenge. Our key idea is to consider the importance of each image patch in determining the fine-grained pre-text representation by multiple instance learning. To comprehensively learn the relation between informative patches and fine-grained semantics, the multi-instance knowledge distillation is implemented on both the region/image crop pairs from the teacher and student net, and the region-image crops inside the teacher / student net, which we term as intra-level multi-instance distillation and inter-level multi-instance distillation. Extensive experiments on CUB-200-2011, Stanford Cars and FGVC Aircraft show that the proposed method outperforms the contemporary method by upto 10.14% and existing state-of-the-art self-supervised learning approaches by upto 19.78% on both top-1 accuracy and Rank-1 retrieval metric.