TLDR: Text Based Last-layer Retraining for Debiasing Image Classifiers

📄 arXiv: 2311.18291v2 📥 PDF

作者: Juhyeon Park, Seokhyeon Jeong, Taesup Moon

分类: cs.CV

发布日期: 2023-11-30 (更新: 2024-12-07)

备注: WACV 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出TLDR以解决图像分类器偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像分类 偏见去除 最后一层重训练 多模态学习 文本数据集

📋 核心要点

  1. 现有的最后一层重训练方法依赖于群体平衡的图像数据集，获取成本高且限制了其应用。
  2. 本文提出利用大型语言模型生成的文本数据集进行最后一层重训练，以去除图像分类器的偏见。
  3. 实验结果表明，TLDR方法在去偏见性能上优于不使用群体标注数据集的其他基线方法。

📝 摘要（中文）

图像分类器可能依赖于训练数据集中特征与分类目标之间的偶然特征关联。最近的研究表明，使用群体平衡数据集的最后一层重训练（LLR）方法在减轻分类器的虚假关联方面有效。然而，获取图像基础的群体平衡数据集成本高，限制了LLR方法的普遍适用性。本文提出基于大型语言模型构建的文本数据集进行LLR，以去除一般图像分类器的偏见。我们展示了文本可以作为其对应图像的代理，并提出了一种系统的验证程序，以检查生成的词是否与CLIP和图像分类器的嵌入空间兼容。我们称这些过程为TLDR，并显示该方法在性能上与需要群体平衡图像数据集的LLR方法具有竞争力。

🔬 方法详解

问题定义：本文旨在解决图像分类器在训练过程中因偶然特征关联而导致的偏见问题。现有的最后一层重训练方法依赖于群体平衡的图像数据集，这在获取上成本高且不易实现。

核心思路：论文提出通过文本数据集进行最后一层重训练，利用文本作为图像的代理，从而减轻偏见。通过线性投影器确保权重与嵌入空间的模态差距正交，增强了文本与图像之间的关联性。

技术框架：整体流程包括文本数据集的构建、线性投影器的设计以及与CLIP和图像分类器的嵌入空间的兼容性验证。该方法通过系统的验证程序确保生成的词与嵌入空间的兼容性。

关键创新：最重要的创新在于提出了使用文本数据集进行最后一层重训练的方法，突破了对图像数据集的依赖，显著降低了数据获取成本。

关键设计：在技术细节上，设计了线性投影器以确保正交性，并采用了系统的验证程序来检查生成词的兼容性，提升了去偏见的效果。实验中使用的损失函数和网络结构也经过精心设计，以优化重训练过程。

📊 实验亮点

实验结果表明，TLDR方法在去偏见性能上与传统的最后一层重训练方法相当，且在不使用群体标注数据集的情况下，显著优于其他基线方法。具体性能数据未提供，但提升幅度显著，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、自动标注系统以及多模态学习等。通过降低对群体平衡图像数据集的依赖，TLDR方法能够在更多实际场景中应用，提升图像分类器的公平性和准确性，具有重要的社会价值和影响。

📄 摘要（原文）

An image classifier may depend on incidental features stemming from a strong correlation between the feature and the classification target in the training dataset. Recently, Last Layer Retraining (LLR) with group-balanced datasets is shown to be efficient in mitigating the spurious correlation of classifiers. However, the acquisition of image-based group-balanced datasets is costly, which hinders the general applicability of the LLR method. In this work, we propose to perform LLR based on text datasets built with large language models to debias a general image classifier. To that end, we demonstrate that text can generally be a proxy for its corresponding image beyond the image-text joint embedding space, which is achieved with a linear projector that ensures orthogonality between its weight and the modality gap of the joint embedding space. In addition, we propose a systematic validation procedure that checks whether the generated words are compatible with the embedding space of CLIP and the image classifier, which is shown to be effective for improving debiasing performance. We dub these procedures as TLDR (Text-based Last layer retraining for Debiasing image classifieRs) and show our method achieves the performance that is competitive with the LLR methods that require group-balanced image dataset for retraining. Furthermore, TLDR outperforms other baselines that involve training the last layer without any group annotated dataset. Codes: https://github.com/beotborry/TLDR