Towards Open-Ended Visual Recognition with Large Language Model

📄 arXiv: 2311.08400v1 📥 PDF

作者: Qihang Yu, Xiaohui Shen, Liang-Chieh Chen

分类: cs.CV

发布日期: 2023-11-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmniScient模型以解决开放式视觉识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放式视觉识别 大型语言模型 掩膜分类器 跨数据集训练 生成式模型

📋 核心要点

  1. 现有开放词汇识别模型在测试时依赖用户预定义的语义类，限制了其应用性能。
  2. OmniScient模型通过生成方式预测类标签，消除了对类名的依赖，并支持无干预的跨数据集训练。
  3. 在多个基准测试中，OSM与现有掩膜提议模型结合，展现出处理新概念的有效性和良好的实验结果。

📝 摘要（中文）

在开放式物理世界中定位和识别物体一直是机器感知领域的挑战。现有方法依赖于类无关的掩膜或框提议模型，并结合开放词汇分类器（如CLIP），但在实际应用中仍存在局限性。本文提出了OmniScient模型（OSM），一种基于大型语言模型的掩膜分类器，能够在训练和测试过程中无需提供类名，并且支持跨数据集训练，展现出强大的泛化能力。结合现有的掩膜提议模型，OSM在多个基准测试中取得了良好效果，并有效处理新概念。代码和模型可在https://github.com/bytedance/OmniScient-Model获取。

🔬 方法详解

问题定义：本文旨在解决开放式视觉识别中的类名依赖问题，现有方法在测试时需要用户提供预定义的类名，限制了模型的灵活性和适应性。

核心思路：OmniScient模型（OSM）采用生成方式来预测类标签，避免了对类名的依赖，同时通过大型语言模型的知识实现跨数据集训练，增强了模型的泛化能力。

技术框架：OSM的整体架构包括一个基于大型语言模型的掩膜分类器，结合现有的掩膜提议模型。模型在训练和测试阶段均不需要用户提供类名，流程简化且高效。

关键创新：OSM的主要创新在于其生成式标签预测机制，与传统的依赖于类名的识别方法本质上不同，能够更好地适应开放式识别任务。

关键设计：在模型设计中，OSM利用大型语言模型的知识进行类标签生成，采用特定的损失函数来优化生成效果，确保模型在不同数据集上均能有效学习和识别新概念。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，OmniScient模型（OSM）结合现有掩膜提议模型，取得了显著的性能提升，特别是在处理新概念时表现出色，具体性能数据和对比基线将在论文中详细列出。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够在没有明确类名的情况下进行物体识别，提升系统的灵活性和适应性。未来，OSM有望推动开放式视觉识别技术的发展，促进更智能的机器感知系统的实现。

📄 摘要（原文）

Localizing and recognizing objects in the open-ended physical world poses a long-standing challenge within the domain of machine perception. Recent methods have endeavored to address the issue by employing a class-agnostic mask (or box) proposal model, complemented by an open-vocabulary classifier (e.g., CLIP) using pre-extracted text embeddings. However, it is worth noting that these open-vocabulary recognition models still exhibit limitations in practical applications. On one hand, they rely on the provision of class names during testing, where the recognition performance heavily depends on this predefined set of semantic classes by users. On the other hand, when training with multiple datasets, human intervention is required to alleviate the label definition conflict between them. In this paper, we introduce the OmniScient Model (OSM), a novel Large Language Model (LLM) based mask classifier, as a straightforward and effective solution to the aforementioned challenges. Specifically, OSM predicts class labels in a generative manner, thus removing the supply of class names during both training and testing. It also enables cross-dataset training without any human interference, exhibiting robust generalization capabilities due to the world knowledge acquired from the LLM. By combining OSM with an off-the-shelf mask proposal model, we present promising results on various benchmarks, and demonstrate its effectiveness in handling novel concepts. Code/model are available at https://github.com/bytedance/OmniScient-Model.