To See is to Believe: Prompting GPT-4V for Better Visual Instruction Tuning

📄 arXiv: 2311.07574v2 📥 PDF

作者: Junke Wang, Lingchen Meng, Zejia Weng, Bo He, Zuxuan Wu, Yu-Gang Jiang

分类: cs.CV

发布日期: 2023-11-13 (更新: 2023-11-29)

备注: techical report; work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

提出LVIS-Instruct4V以解决视觉指令调优中的粗粒度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉指令调优 多模态模型 GPT-4V 细粒度指令 上下文感知

📋 核心要点

  1. 现有视觉指令调优方法依赖于粗粒度的文本描述，可能导致生成的指令与视觉内容不一致。
  2. 本文提出LVIS-Instruct4V数据集，通过GPT-4V生成细粒度的视觉指令，提升指令的上下文感知能力。
  3. 实验结果表明，使用LVIS-Instruct4V替换LLaVA-Instruct后，LLaVA-1.5在多个基准测试中性能显著提升。

📝 摘要（中文）

现有的视觉指令调优方法通常依赖文本描述来生成遵循指令的数据，这些描述往往源自图像注释，且粒度较粗，可能与视觉内容相矛盾。为了解决这一挑战，本文引入了一个细粒度的视觉指令数据集LVIS-Instruct4V，该数据集包含220K个通过提示GPT-4V生成的视觉对齐和上下文感知的指令。通过实验验证和案例研究，我们展示了高质量的视觉指令数据能够显著提升LLaVA-1.5等多模态模型在多个基准测试中的表现。通过简单替换LLaVA-Instruct为LVIS-Instruct4V，我们在大多数具有挑战性的LMM基准上取得了更好的结果。

🔬 方法详解

问题定义：现有的视觉指令调优方法通常使用粗粒度的文本描述，这些描述可能与图像内容不一致，导致生成的指令质量不高。

核心思路：本文通过引入LVIS-Instruct4V数据集，利用GPT-4V生成细粒度的视觉指令，旨在提高指令的上下文感知能力，从而提升模型的表现。

技术框架：整体架构包括数据集构建、指令生成和模型训练三个主要模块。首先，通过对LVIS数据集中的图像进行分析，生成高质量的视觉指令；然后，将这些指令用于训练多模态模型。

关键创新：最重要的创新在于通过GPT-4V生成的细粒度视觉指令，显著改善了指令的上下文感知能力，与传统方法相比，能够更好地与视觉内容对齐。

关键设计：在数据集构建中，采用了高质量的图像注释和上下文信息，确保生成的指令具有较高的准确性和相关性。同时，模型训练过程中使用了适当的损失函数和优化策略，以最大化指令与视觉内容的匹配度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LVIS-Instruct4V替换LLaVA-Instruct后，LLaVA-1.5在LLaVA$^w$基准上得分从70.7提升至76.7，在MM-Vet基准上得分从35.4提升至40.2，表现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成、教育培训等。通过提供更高质量的视觉指令，能够提升多模态模型在实际应用中的表现，推动人机交互的智能化进程。

📄 摘要（原文）

Existing visual instruction tuning methods typically prompt large language models with textual descriptions to generate instruction-following data. Despite the promising performance achieved, these descriptions are derived from image annotations, which are oftentimes coarse-grained. Furthermore, the instructions might even contradict the visual content without observing the entire visual context. To address this challenge, we introduce a fine-grained visual instruction dataset, LVIS-Instruct4V, which contains 220K visually aligned and context-aware instructions produced by prompting the powerful GPT-4V with images from LVIS. Through experimental validation and case studies, we demonstrate that high-quality visual instructional data could improve the performance of LLaVA-1.5, a state-of-the-art large multimodal model, across a wide spectrum of benchmarks by clear margins. Notably, by simply replacing the LLaVA-Instruct with our LVIS-Instruct4V, we achieve better results than LLaVA on most challenging LMM benchmarks, e.g., LLaVA$^w$ (76.7 vs. 70.7) and MM-Vet (40.2 vs. 35.4). We release our data and model at https://github.com/X2FD/LVIS-INSTRUCT4V.