Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition

📄 arXiv: 2404.19527v1 📥 PDF

作者: Yunbing Jia, Xiaoyu Kong, Fan Tang, Yixing Gao, Weiming Dong, Yi Yang

分类: cs.CV

发布日期: 2024-04-28

💡 一句话要点

提出非对称蒸馏框架以解决开放集识别中的数据增强问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据增强 开放集识别 知识蒸馏 特征区分 机器学习

📋 核心要点

  1. 现有方法在闭集识别中表现良好，但在开放集识别中却显著下降，导致特征区分度降低。
  2. 提出非对称蒸馏框架，通过向教师模型提供额外原始数据，增强教师的效用，并结合互信息损失和重标记策略。
  3. 在Tiny-ImageNet数据集上，方法提升了2%~3%的AUROC，并在ImageNet-21K上验证了其泛化能力。

📝 摘要（中文）

本文揭示了数据增强的两面性：在闭集识别中的提升与开放集识别的显著下降之间的关联。通过实证研究，我们发现基于多样本的数据增强会降低特征区分度，从而削弱开放集标准。尽管知识蒸馏可能通过模仿来削弱特征，但模糊语义的混合特征会阻碍蒸馏。为此，我们提出了一种非对称蒸馏框架，通过向教师模型输入额外的原始数据来扩大教师的收益。此外，采用联合互信息损失和选择性重标记策略来减轻困难混合样本的影响。我们的方法成功减轻了开放集的下降，并在Tiny-ImageNet数据集上超越了现有最优方法2%~3%的AUROC，且在大规模数据集ImageNet-21K上的实验验证了我们方法的泛化能力。

🔬 方法详解

问题定义：本文旨在解决数据增强在开放集识别中导致的特征区分度降低问题。现有方法在闭集识别中有效，但在开放集识别中表现不佳，影响了模型的整体性能。

核心思路：提出非对称蒸馏框架，通过向教师模型输入额外的原始数据，增强教师模型的学习效果，进而改善开放集识别性能。设计的初衷是利用教师模型的优势，克服混合特征带来的模糊性。

技术框架：整体架构包括教师模型和学生模型，教师模型接收额外的原始数据，学生模型通过蒸馏学习教师的知识。同时，采用联合互信息损失和选择性重标记策略来处理困难样本。

关键创新：最重要的创新在于非对称蒸馏框架的提出，通过额外数据增强教师模型的能力，与传统的对称蒸馏方法形成鲜明对比。

关键设计：在损失函数中引入联合互信息损失，旨在提高特征的区分度。同时，选择性重标记策略用于处理混合样本，确保模型在训练过程中能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在Tiny-ImageNet数据集上提升了2%~3%的AUROC，相较于现有最优方法表现更为出色。此外，在大规模数据集ImageNet-21K上的实验验证了方法的良好泛化能力，显示出其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的开放集识别任务，如人脸识别、物体检测等。通过提升开放集识别的性能，能够在实际应用中更好地处理未知类别的数据，提高系统的鲁棒性和可靠性。未来，该方法可能在更多领域中推广应用，推动智能系统的进一步发展。

📄 摘要（原文）

In this paper, we reveal the two sides of data augmentation: enhancements in closed-set recognition correlate with a significant decrease in open-set recognition. Through empirical investigation, we find that multi-sample-based augmentations would contribute to reducing feature discrimination, thereby diminishing the open-set criteria. Although knowledge distillation could impair the feature via imitation, the mixed feature with ambiguous semantics hinders the distillation. To this end, we propose an asymmetric distillation framework by feeding teacher model extra raw data to enlarge the benefit of teacher. Moreover, a joint mutual information loss and a selective relabel strategy are utilized to alleviate the influence of hard mixed samples. Our method successfully mitigates the decline in open-set and outperforms SOTAs by 2%~3% AUROC on the Tiny-ImageNet dataset and experiments on large-scale dataset ImageNet-21K demonstrate the generalization of our method.