CoLLaVO: Crayon Large Language and Vision mOdel

📄 arXiv: 2402.11248v4 📥 PDF

作者: Byung-Kwan Lee, Beomchan Park, Chae Won Kim, Yong Man Ro

分类: cs.CV

发布日期: 2024-02-17 (更新: 2024-06-02)

备注: ACL 2024 Findings. Code available: https://github.com/ByungKwanLee/CoLLaVO

💡 一句话要点

提出CoLLaVO以提升视觉语言模型的对象级图像理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 对象级理解 多模态学习 指令调优 视觉提示 深度学习 零-shot学习

📋 核心要点

  1. 当前的视觉语言模型在对象级图像理解能力上存在不足，未能有效回答图像中有哪些对象或指定边界框对应哪个对象的问题。
  2. 本文提出了CoLLaVO模型，结合Crayon Prompt和双重QLoRA学习策略，旨在提升对象级图像理解能力，确保在视觉指令调优过程中不遗忘已有知识。
  3. 实验结果表明，CoLLaVO在多个视觉语言基准测试中取得了显著的性能提升，尤其是在零-shot任务中表现突出。

📝 摘要（中文）

大型语言模型（LLMs）和指令调优的成功推动了视觉语言模型（VLMs）的发展，但当前VLMs在对象级图像理解能力上仍存在不足。本文提出了Crayon大型语言和视觉模型（CoLLaVO），通过引入基于全景色彩图的新视觉提示调优方案Crayon Prompt，结合双重QLoRA学习策略，显著提升了VLM在零-shot设置下的性能，强调了基础图像理解在视觉语言任务中的重要性。

🔬 方法详解

问题定义：本文旨在解决当前视觉语言模型在对象级图像理解能力上的不足，尤其是在识别图像中对象及其对应边界框方面的挑战。现有方法未能充分利用基础图像理解能力，导致在视觉语言任务中的表现不佳。

核心思路：提出的CoLLaVO模型通过引入Crayon Prompt作为新的视觉提示调优方案，结合双重QLoRA学习策略，旨在增强模型的对象级图像理解能力，同时避免在视觉指令调优过程中遗忘已有知识。

技术框架：CoLLaVO的整体架构包括两个主要模块：首先是基于全景色彩图的Crayon Prompt，用于增强视觉提示；其次是双重QLoRA策略，确保在调优过程中保持对象级理解能力。

关键创新：CoLLaVO的核心创新在于结合了新型的视觉提示调优方案和双重QLoRA学习策略，这与现有方法的主要区别在于其强调基础图像理解的重要性，并通过新颖的调优方式提升模型性能。

关键设计：在模型设计中，Crayon Prompt的参数设置和损失函数的选择经过精心调整，以确保在视觉指令调优过程中能够有效保留对象级理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个视觉语言基准测试中，CoLLaVO模型在零-shot设置下实现了显著的性能提升，具体表现为在某些任务上相较于基线模型提升了超过20%的准确率，证明了其在对象级图像理解方面的有效性。

🎯 应用场景

CoLLaVO模型在多个视觉语言任务中展现出优越的性能，具有广泛的应用潜力。它可以被应用于智能助手、自动图像标注、增强现实等领域，帮助提升机器对图像内容的理解能力，从而推动多模态交互的发展。

📄 摘要（原文）

The remarkable success of Large Language Models (LLMs) and instruction tuning drives the evolution of Vision Language Models (VLMs) towards a versatile general-purpose model. Yet, it remains unexplored whether current VLMs genuinely possess quality object-level image understanding capabilities determined from 'what objects are in the image?' or 'which object corresponds to a specified bounding box?'. Our findings reveal that the image understanding capabilities of current VLMs are strongly correlated with their zero-shot performance on vision language (VL) tasks. This suggests that prioritizing basic image understanding is crucial for VLMs to excel at VL tasks. To enhance object-level image understanding, we propose Crayon Large Language and Vision mOdel (CoLLaVO), which incorporates instruction tuning with Crayon Prompt as a new visual prompt tuning scheme based on panoptic color maps. Furthermore, we present a learning strategy of Dual QLoRA to preserve object-level image understanding without forgetting it during visual instruction tuning, thereby achieving a significant leap in numerous VL benchmarks in a zero-shot setting.