Improved Zero-Shot Classification by Adapting VLMs with Text Descriptions

📄 arXiv: 2401.02460v2 📥 PDF

作者: Oindrila Saha, Grant Van Horn, Subhransu Maji

分类: cs.CV

发布日期: 2024-01-04 (更新: 2024-04-03)

🔗 代码/项目: GITHUB

💡 一句话要点

通过适应VLMs与文本描述改善零样本分类性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本分类 视觉语言模型 大型语言模型 细粒度分类 图像文本监督

📋 核心要点

  1. 现有的视觉语言模型在零样本分类中表现有限，特别是在特定领域缺乏大规模对齐数据集。
  2. 本文提出通过结合大型语言模型生成的类别描述与细粒度图像分类数据集，来改善VLMs的零样本分类性能。
  3. 在iNaturalist数据集上，采用新训练策略后，零样本分类准确率平均提高了4-5%，并在其他领域也观察到类似的提升。

📝 摘要（中文）

现有的视觉语言模型（VLMs）如CLIP在特定领域的零样本性能受限于大规模对齐的图像和文本数据集的可用性。本文利用大型语言模型（LLMs）生成的类别描述和丰富的细粒度图像分类数据集，提出了一种方法来提升VLMs在细粒度领域的零样本分类性能。我们发现，单纯在测试时使用这些属性并未提升性能，但我们的训练策略在iNaturalist数据集上平均提高了4-5%的零样本分类准确率。通过多种方式提示LLMs，我们生成的描述能够有效捕捉视觉特征、栖息地和地理区域，并与现有的类别属性相结合。我们的研究结果表明，地理先验与视觉外观同样有效且互为补充。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型（VLMs）在零样本分类中的性能不足，尤其是在缺乏大规模对齐图像和文本数据集的特定领域。现有方法在处理细粒度分类时面临挑战。

核心思路：我们提出利用大型语言模型（LLMs）生成的类别描述，结合丰富的细粒度图像分类数据集，通过“包级”图像-文本监督来训练VLMs，从而提升其零样本分类能力。

技术框架：整体流程包括生成类别描述、将描述与图像数据集结合，并通过特定的训练策略对VLMs进行训练。主要模块包括描述生成、数据集整合和模型训练。

关键创新：最重要的创新在于将地理先验与视觉外观结合使用，发现二者在提升零样本分类性能上是互补的。此外，我们的方法在提示基础的VLMs调优上超越了之前的工作。

关键设计：在训练过程中，我们设计了特定的损失函数和参数设置，以确保模型能够有效学习到类别描述与图像特征之间的关系。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，采用新训练策略后，在iNaturalist数据集上，零样本分类准确率平均提高了4-5%。此外，在使用部分类别进行微调的领域中，也观察到类似的性能提升。我们的研究方法在提示基础的VLMs调优上超越了之前的工作，展现出显著的优势。

🎯 应用场景

该研究的潜在应用领域包括生物多样性监测、生态研究和环境保护等。通过提升零样本分类性能，研究成果可以帮助科学家和研究人员更高效地识别和分类新物种，推动相关领域的研究进展。未来，该方法也可能扩展到其他视觉识别任务中，具有广泛的实际价值。

📄 摘要（原文）

The zero-shot performance of existing vision-language models (VLMs) such as CLIP is limited by the availability of large-scale, aligned image and text datasets in specific domains. In this work, we leverage two complementary sources of information -- descriptions of categories generated by large language models (LLMs) and abundant, fine-grained image classification datasets -- to improve the zero-shot classification performance of VLMs across fine-grained domains. On the technical side, we develop methods to train VLMs with this "bag-level" image-text supervision. We find that simply using these attributes at test-time does not improve performance, but our training strategy, for example, on the iNaturalist dataset, leads to an average improvement of 4-5% in zero-shot classification accuracy for novel categories of birds and flowers. Similar improvements are observed in domains where a subset of the categories was used to fine-tune the model. By prompting LLMs in various ways, we generate descriptions that capture visual appearance, habitat, and geographic regions and pair them with existing attributes such as the taxonomic structure of the categories. We systematically evaluate their ability to improve zero-shot categorization in natural domains. Our findings suggest that geographic priors can be just as effective and are complementary to visual appearance. Our method also outperforms prior work on prompt-based tuning of VLMs. We release the benchmark, consisting of 14 datasets at https://github.com/cvl-umass/AdaptCLIPZS , which will contribute to future research in zero-shot recognition.