Democratizing Fine-grained Visual Recognition with Large Language Models

📄 arXiv: 2401.13837v2 📥 PDF

作者: Mingxuan Liu, Subhankar Roy, Wenjing Li, Zhun Zhong, Nicu Sebe, Elisa Ricci

分类: cs.CV

发布日期: 2024-01-24 (更新: 2024-03-10)

备注: Accepted as a conference paper at ICLR 2024; Project page: https://projfiner.github.io/

💡 一句话要点

提出FineR以解决细粒度视觉识别中的专家标注瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度视觉识别 大型语言模型 视觉属性提取 推理方法 无监督学习

📋 核心要点

  1. 现有FGVR方法依赖高质量的专家标注，导致开发成本高且效率低。
  2. 本文提出FineR，通过利用大型语言模型的知识，推理细粒度类别名称，减少对专家知识的依赖。
  3. FineR在多个基准测试中超越了现有的FGVR和语言视觉模型，显示出良好的泛化能力。

📝 摘要（中文）

细粒度视觉识别（FGVR）是计算机视觉中的一个长期任务，涉及从图像中识别下级类别。由于物种间的细微差别，普通人难以区分鸟类或蘑菇等物种。现有FGVR系统的主要瓶颈在于对高质量专家标注的需求。为此，本文提出Fine-grained Semantic Category Reasoning（FineR），利用大型语言模型（LLMs）的世界知识作为代理，推理细粒度类别名称。具体而言，FineR通过提取图像的部分视觉属性并将其转化为文本，来弥合图像与LLM之间的模态差距。FineR在多个FGVR和语言视觉助手模型上表现优异，显示出在实际应用和新领域中的潜力。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉识别中的专家标注瓶颈问题。现有方法需要大量高质量的专家标注，限制了其在实际应用中的推广。

核心思路：论文提出FineR，通过利用大型语言模型的世界知识，推理细粒度类别名称，避免了对专家知识的依赖。该方法通过提取图像的部分视觉属性，将其转化为文本信息，供LLM进行推理。

技术框架：FineR的整体架构包括两个主要模块：一是从图像中提取部分视觉属性，二是将这些属性输入到大型语言模型中进行推理。通过这种方式，FineR能够有效地弥合图像与文本之间的模态差距。

关键创新：FineR的核心创新在于将大型语言模型的知识应用于细粒度视觉识别，显著降低了对专家标注的需求。这一方法与传统FGVR方法的本质区别在于其不再依赖人工标注，而是通过模型推理实现。

关键设计：在FineR中，关键设计包括视觉属性的提取方法、文本转换的策略以及与大型语言模型的交互方式。具体的参数设置和损失函数设计尚未详细披露，可能需要进一步的实验验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FineR在多个基准测试中表现出色，超越了多种最先进的FGVR和语言视觉助手模型，显示出在实际应用中的良好适应性和泛化能力，具体性能提升幅度未详细披露。

🎯 应用场景

该研究的潜在应用领域包括生物物种识别、植物分类和其他需要细粒度分类的场景。通过减少对专家标注的依赖，FineR能够在资源有限的环境中实现高效的视觉识别，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Identifying subordinate-level categories from images is a longstanding task in computer vision and is referred to as fine-grained visual recognition (FGVR). It has tremendous significance in real-world applications since an average layperson does not excel at differentiating species of birds or mushrooms due to subtle differences among the species. A major bottleneck in developing FGVR systems is caused by the need of high-quality paired expert annotations. To circumvent the need of expert knowledge we propose Fine-grained Semantic Category Reasoning (FineR) that internally leverages the world knowledge of large language models (LLMs) as a proxy in order to reason about fine-grained category names. In detail, to bridge the modality gap between images and LLM, we extract part-level visual attributes from images as text and feed that information to a LLM. Based on the visual attributes and its internal world knowledge the LLM reasons about the subordinate-level category names. Our training-free FineR outperforms several state-of-the-art FGVR and language and vision assistant models and shows promise in working in the wild and in new domains where gathering expert annotation is arduous.