Textual Knowledge Matters: Cross-Modality Co-Teaching for Generalized Visual Class Discovery

📄 arXiv: 2403.07369v2 📥 PDF

作者: Haiyang Zheng, Nan Pu, Wenjing Li, Nicu Sebe, Zhun Zhong

分类: cs.CV

发布日期: 2024-03-12 (更新: 2024-12-05)

备注: Accepted by ECCV2024

💡 一句话要点

提出TextGCD框架以解决多模态的通用视觉类别发现问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用类别发现 多模态学习 视觉-语言模型 跨模态教学 文本生成 图像分类 机器学习

📋 核心要点

  1. 现有的通用类别发现方法主要依赖视觉信息，忽视了多模态感知的复杂性，导致对未知类别的发现能力不足。
  2. 本文提出的TextGCD框架通过结合视觉和语言模型，采用检索生成和跨模态共同教学的方式，提升了类别发现的效果。
  3. 在多个数据集上的实验结果显示，TextGCD框架在准确率上显著超越了当前最先进的方法，展现出良好的实用性。

📝 摘要（中文）

本文研究了通用类别发现（GCD）问题，旨在利用已标记数据的知识对未知类别的未标记数据进行聚类。现有GCD方法仅依赖视觉线索，忽视了人类认知过程中多模态感知的特性。为此，本文提出了一个两阶段的TextGCD框架，通过强大的视觉-语言模型实现多模态GCD。TextGCD主要包括基于检索的文本生成（RTG）阶段和跨模态共同教学（CCT）阶段。RTG通过多样数据集的类别标签和大型语言模型的属性构建视觉词汇，为图像生成描述性文本。CCT则利用文本和视觉模态之间的差异促进相互学习，从而增强视觉GCD。实验结果表明，本文方法在八个数据集上显著优于现有方法，尤其在ImageNet-1k和CUB数据集上分别提升了7.7%和10.8%的准确率。

🔬 方法详解

问题定义：本文旨在解决通用类别发现（GCD）问题，现有方法仅依赖视觉线索，未能充分利用多模态信息，导致对未知类别的识别能力不足。

核心思路：提出的TextGCD框架通过结合视觉和语言信息，采用检索生成和跨模态共同教学的方式，增强了对未知类别的学习能力。

技术框架：TextGCD框架分为两个主要阶段：第一阶段是基于检索的文本生成（RTG），构建视觉词汇并为图像生成描述性文本；第二阶段是跨模态共同教学（CCT），通过文本和视觉模态的相互学习来提升GCD效果。

关键创新：本文的创新在于引入了多模态信息的融合，通过文本生成和共同教学机制，显著提升了对未知类别的发现能力，与传统方法相比具有本质区别。

关键设计：设计了自适应类别对齐策略以确保模态间的类别感知一致性，并采用软投票机制整合多模态线索，提升了模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TextGCD框架在ImageNet-1k和CUB数据集上的准确率分别提升了7.7%和10.8%，显著超越了现有最先进的方法，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、自动标注和内容检索等，能够有效提升机器对未知类别的识别能力，具有重要的实际价值。未来，该方法可扩展至更多的多模态学习任务，推动智能视觉系统的发展。

📄 摘要（原文）

In this paper, we study the problem of Generalized Category Discovery (GCD), which aims to cluster unlabeled data from both known and unknown categories using the knowledge of labeled data from known categories. Current GCD methods rely on only visual cues, which however neglect the multi-modality perceptive nature of human cognitive processes in discovering novel visual categories. To address this, we propose a two-phase TextGCD framework to accomplish multi-modality GCD by exploiting powerful Visual-Language Models. TextGCD mainly includes a retrieval-based text generation (RTG) phase and a cross-modality co-teaching (CCT) phase. First, RTG constructs a visual lexicon using category tags from diverse datasets and attributes from Large Language Models, generating descriptive texts for images in a retrieval manner. Second, CCT leverages disparities between textual and visual modalities to foster mutual learning, thereby enhancing visual GCD. In addition, we design an adaptive class aligning strategy to ensure the alignment of category perceptions between modalities as well as a soft-voting mechanism to integrate multi-modality cues. Experiments on eight datasets show the large superiority of our approach over state-of-the-art methods. Notably, our approach outperforms the best competitor, by 7.7% and 10.8% in All accuracy on ImageNet-1k and CUB, respectively.