Evolving Interpretable Visual Classifiers with Large Language Models

📄 arXiv: 2404.09941v1 📥 PDF

作者: Mia Chiquier, Utkarsh Mall, Carl Vondrick

分类: cs.CV, cs.AI

发布日期: 2024-04-15

💡 一句话要点

提出一种新方法以解决视觉分类器的可解释性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 视觉分类 多模态学习 进化算法 大型语言模型 细粒度识别 属性发现

📋 核心要点

  1. 现有视觉-语言模型缺乏可解释性，容易产生偏见，且无法识别新视觉概念。
  2. 本文提出一种结合大型语言模型的进化搜索算法，迭代优化分类属性以提高可解释性。
  3. 实验结果显示，所提方法在多个数据集上显著超越现有基线，提升幅度达到22.2%。

📝 摘要（中文）

多模态预训练模型如CLIP因其开放词汇灵活性和高性能而受到欢迎，尤其在零-shot 分类中。然而，现有的视觉-语言模型在可解释性方面存在局限，容易产生偏见，并且无法发现未书写的新视觉概念。此外，在实际应用中，专门概念的类名和属性的词汇往往未知，导致这些方法在处理不常见图像时表现不佳。为了解决这些问题，本文提出了一种新颖的方法，通过进化搜索算法结合大型语言模型的上下文学习能力，迭代地变异分类属性的概念瓶颈，从而发现可解释且具有区分性的属性集合。我们的实验表明，该方法在五个细粒度iNaturalist数据集上超越最新基线18.4%，在两个KikiBouba数据集上超越22.2%。

🔬 方法详解

问题定义：本文旨在解决现有视觉分类器的可解释性不足和对新视觉概念的识别能力弱的问题。现有方法在处理不常见图像时表现不佳，且往往是黑箱模型，难以理解其决策过程。

核心思路：本文提出通过进化搜索算法，利用大型语言模型的上下文学习能力，迭代变异分类属性的概念瓶颈，从而发现可解释且具有区分性的属性集合。这种设计旨在提高模型的可解释性和适应性。

技术框架：整体流程包括初始属性集合的生成、基于语言模型的上下文学习、属性的迭代变异和最终的分类器训练。主要模块包括属性生成模块、进化搜索模块和分类器训练模块。

关键创新：最重要的创新在于结合大型语言模型的上下文学习能力进行进化搜索，能够有效发现新的可解释属性集合，与传统方法相比，显著提高了模型的可解释性和分类性能。

关键设计：在参数设置上，采用了适应性变异策略，损失函数设计为结合可解释性和分类准确性的复合损失，网络结构则基于现有的视觉-语言模型进行优化和调整，以适应新的属性集合。

📊 实验亮点

实验结果显示，所提方法在五个细粒度iNaturalist数据集上超越最新基线18.4%，在两个KikiBouba数据集上超越22.2%。这些结果表明，尽管基线模型拥有类名的特权信息，所提方法依然展现出优越的性能，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高可解释性的视觉识别任务中，如医疗影像分析、自动驾驶和安全监控等领域。通过提高模型的可解释性，能够增强用户对模型决策的信任，并促进新概念的发现，推动相关领域的进步与创新。

📄 摘要（原文）

Multimodal pre-trained models, such as CLIP, are popular for zero-shot classification due to their open-vocabulary flexibility and high performance. However, vision-language models, which compute similarity scores between images and class labels, are largely black-box, with limited interpretability, risk for bias, and inability to discover new visual concepts not written down. Moreover, in practical settings, the vocabulary for class names and attributes of specialized concepts will not be known, preventing these methods from performing well on images uncommon in large-scale vision-language datasets. To address these limitations, we present a novel method that discovers interpretable yet discriminative sets of attributes for visual recognition. We introduce an evolutionary search algorithm that uses a large language model and its in-context learning abilities to iteratively mutate a concept bottleneck of attributes for classification. Our method produces state-of-the-art, interpretable fine-grained classifiers. We outperform the latest baselines by 18.4% on five fine-grained iNaturalist datasets and by 22.2% on two KikiBouba datasets, despite the baselines having access to privileged information about class names.