RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition

📄 arXiv: 2403.13805v2 📥 PDF

作者: Ziyu Liu, Zeyi Sun, Yuhang Zang, Wei Li, Pan Zhang, Xiaoyi Dong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-03-20 (更新: 2026-05-15)

备注: Project: https://github.com/Liuziyu77/RAR

💡 一句话要点

提出RAR方法以提升多模态大语言模型的视觉识别能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉识别 细粒度分类 对比学习 大语言模型 检索与排序 零样本学习

📋 核心要点

  1. 现有方法在细粒度识别中存在精度不足的问题，尤其是在类别数量增加时，性能显著下降。
  2. 本文提出RAR方法，通过CLIP建立多模态检索器，存储类别记忆，并结合MLLMs进行最终预测。
  3. 实验结果表明，RAR在5个细粒度视觉识别基准、11个少样本图像识别数据集和2个零样本检测数据集上均显著提升了性能。

📝 摘要（中文）

CLIP（对比语言-图像预训练）通过对噪声图像-文本对的对比学习，在识别多种候选项方面表现优异，但在细粒度项目的区分上存在精度不足的问题。多模态大语言模型（MLLMs）在分类细粒度类别方面表现良好，但随着类别数量的增加，其性能下降，主要由于复杂性和有限的上下文窗口大小的限制。为此，本文提出了RAR（检索与排序增强方法），通过建立基于CLIP的多模态检索器，创建并存储超出即时上下文窗口的不同类别的显式记忆。在推理过程中，RAR从记忆中检索前k个相似结果，并利用MLLMs进行排序和最终预测。该方法显著提升了在多项视觉-语言识别任务中的准确性。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉识别中的精度不足问题，现有的CLIP和MLLMs方法在类别数量增加时性能下降，限制了其应用。

核心思路：RAR方法通过结合CLIP的检索能力和MLLMs的分类能力，创建一个超出上下文窗口的显式记忆系统，从而提高细粒度识别的准确性。

技术框架：RAR的整体架构包括两个主要模块：首先是基于CLIP的多模态检索器，用于创建和存储类别记忆；其次是在推理阶段，检索前k个相似结果，并利用MLLMs进行排序和最终预测。

关键创新：RAR的核心创新在于将检索与排序结合起来，克服了传统方法在细粒度分类中的局限性，能够有效利用模型的知识库。

关键设计：在设计上，RAR采用了优化的检索算法和排序机制，确保在推理时能够快速准确地检索和排序，同时保持模型的知识完整性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RAR方法在5个细粒度视觉识别基准上提升了识别准确率，尤其在11个少样本图像识别数据集和2个零样本检测数据集上表现出色，显著提高了模型的识别能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高精度细粒度分类的领域，如医学影像分析、自动驾驶视觉系统和智能监控等。未来，RAR方法可以进一步扩展到更多的视觉-语言任务中，提升多模态系统的整体性能。

📄 摘要（原文）

CLIP (Contrastive Language-Image Pre-training) uses contrastive learning from noise image-text pairs to excel at recognizing a wide array of candidates, yet its focus on broad associations hinders the precision in distinguishing subtle differences among fine-grained items. Conversely, Multimodal Large Language Models (MLLMs) excel at classifying fine-grained categories, thanks to their substantial knowledge from pre-training on web-level corpora. However, the performance of MLLMs declines with an increase in category numbers, primarily due to growing complexity and constraints of limited context window size. To synergize the strengths of both approaches and enhance the few-shot/zero-shot recognition abilities for datasets characterized by extensive and fine-grained vocabularies, this paper introduces RAR, a Retrieving And Ranking augmented method for MLLMs. We initially establish a multi-modal retriever based on CLIP to create and store explicit memory for different categories beyond the immediate context window. During inference, RAR retrieves the top-k similar results from the memory and uses MLLMs to rank and make the final predictions. Our proposed approach not only addresses the inherent limitations in fine-grained recognition but also preserves the model's comprehensive knowledge base, significantly boosting accuracy across a range of vision-language recognition tasks. Notably, our approach demonstrates a significant improvement in performance on 5 fine-grained visual recognition benchmarks, 11 few-shot image recognition datasets, and the 2 object detection datasets under the zero-shot recognition setting.