Data Distribution Distilled Generative Model for Generalized Zero-Shot Recognition

📄 arXiv: 2402.11424v1 📥 PDF

作者: Yijie Wang, Mingjian Hong, Luwen Huangfu, Sheng Huang

分类: cs.CV, cs.AI

发布日期: 2024-02-18

备注: accepted as AAAI 2024 oral paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出D$^3$GZSL以解决广义零样本学习中的偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 广义零样本学习 生成模型 数据蒸馏 深度学习 图像识别

📋 核心要点

  1. 现有的广义零样本学习模型存在偏向已见数据的问题，导致未见数据的识别性能不足。
  2. 提出的D$^3$GZSL框架通过将已见和未见数据分别视为同类和异类分布，增强模型的平衡性。
  3. 实验结果表明，D$^3$GZSL在多个基准测试中显著提升了现有生成性GZSL方法的性能。

📝 摘要（中文）

在零样本学习（ZSL）领域，我们关注广义零样本学习（GZSL）模型中的偏差问题，这些模型倾向于偏向已见数据。为此，我们提出了一种端到端的生成性GZSL框架D$^3$GZSL。该框架将已见数据和合成的未见数据分别视为同类分布和异类分布，从而实现更平衡的模型。D$^3$GZSL包含两个核心模块：同类双空间蒸馏（ID$^2$SD）和异类批次蒸馏（O$^2$DBD）。ID$^2$SD在嵌入和标签空间中对齐教师-学生的结果，增强学习一致性。O$^2$DBD为每个批次样本引入低维的异类表示，捕捉已见和未见类别之间的共享结构。我们的研究在多个GZSL基准测试中展示了其有效性，能够无缝集成到主流生成框架中。

🔬 方法详解

问题定义：本论文旨在解决广义零样本学习中模型对已见数据的偏向性，导致未见数据的识别效果不佳。现有方法往往未能有效处理同类和异类数据的分布差异。

核心思路：D$^3$GZSL框架通过将已见数据视为同类分布，未见数据视为异类分布，来平衡模型的学习过程。该设计旨在提高模型对未见类别的识别能力。

技术框架：D$^3$GZSL框架由两个主要模块组成：同类双空间蒸馏（ID$^2$SD）和异类批次蒸馏（O$^2$DBD）。ID$^2$SD通过对齐教师和学生在嵌入及标签空间的输出，增强学习的一致性；而O$^2$DBD则为每个批次样本生成低维的异类表示，以捕捉已见和未见类别之间的共享结构。

关键创新：D$^3$GZSL的核心创新在于其双重蒸馏机制，分别针对同类和异类数据进行处理，这与传统方法的单一处理方式形成鲜明对比。

关键设计：在设计中，ID$^2$SD模块采用了特定的损失函数来确保教师和学生模型输出的一致性，而O$^2$DBD模块则通过低维表示来有效捕捉类别间的结构关系。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，D$^3$GZSL在多个广泛使用的GZSL基准测试中显著提升了性能，相较于现有方法，识别准确率提高了XX%（具体数据未知），验证了其在生成性框架中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和机器人视觉等。通过提升零样本学习的性能，D$^3$GZSL能够在缺乏标注数据的情况下，帮助模型更好地识别未见类别，具有重要的实际价值和未来影响。

📄 摘要（原文）

In the realm of Zero-Shot Learning (ZSL), we address biases in Generalized Zero-Shot Learning (GZSL) models, which favor seen data. To counter this, we introduce an end-to-end generative GZSL framework called D$^3$GZSL. This framework respects seen and synthesized unseen data as in-distribution and out-of-distribution data, respectively, for a more balanced model. D$^3$GZSL comprises two core modules: in-distribution dual space distillation (ID$^2$SD) and out-of-distribution batch distillation (O$^2$DBD). ID$^2$SD aligns teacher-student outcomes in embedding and label spaces, enhancing learning coherence. O$^2$DBD introduces low-dimensional out-of-distribution representations per batch sample, capturing shared structures between seen and unseen categories. Our approach demonstrates its effectiveness across established GZSL benchmarks, seamlessly integrating into mainstream generative frameworks. Extensive experiments consistently showcase that D$^3$GZSL elevates the performance of existing generative GZSL methods, underscoring its potential to refine zero-shot learning practices.The code is available at: https://github.com/PJBQ/D3GZSL.git