ShareGPT4V: Improving Large Multi-Modal Models with Better Captions

📄 arXiv: 2311.12793v2 📥 PDF

作者: Lin Chen, Jinsong Li, Xiaoyi Dong, Pan Zhang, Conghui He, Jiaqi Wang, Feng Zhao, Dahua Lin

分类: cs.CV

发布日期: 2023-11-21 (更新: 2023-11-28)

备注: Project: https://ShareGPT4V.github.io

💡 一句话要点

提出ShareGPT4V以解决多模态模型数据稀缺问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 多模态模型 数据集构建 图像-文本对齐 深度学习 模型微调

📋 核心要点

  1. 现有大型多模态模型在模态对齐方面面临高质量图像-文本数据稀缺的挑战，限制了其性能提升。
  2. 本文提出ShareGPT4V数据集，包含120万条高质量字幕，旨在通过丰富的描述性信息提升多模态模型的训练效果。
  3. 实验结果表明，使用ShareGPT4V数据集进行微调，显著提高了LLaVA-7B、LLaVA-1.5-13B和Qwen-VL-Chat-7B等模型的性能。

📝 摘要（中文）

在大型多模态模型（LMMs）领域，有效的模态对齐至关重要，但通常受限于高质量图像-文本数据的稀缺。为了解决这一瓶颈，本文提出了ShareGPT4V数据集，这是一个开创性的规模庞大的资源，包含120万条高度描述性的字幕，超越了现有数据集在多样性和信息内容上的表现，涵盖了世界知识、物体属性、空间关系和美学评估。ShareGPT4V最初来源于从先进的GPT4-Vision收集的10万条高质量字幕，并通过在该子集上训练的优秀字幕模型扩展至120万条。通过在现有的监督微调（SFT）数据集中替换等量的详细字幕，ShareGPT4V显著提升了LMMs在MME和MMBench基准上的表现，分别获得222.8/22.0/22.3和2.7/1.3/1.5的增益。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在模态对齐过程中面临的高质量图像-文本数据稀缺问题。现有方法通常依赖于有限的低质量数据，导致模型性能受限。

核心思路：论文提出ShareGPT4V数据集，通过收集和生成高质量的图像-文本字幕，提供丰富的上下文信息，从而提升多模态模型的训练效果。该数据集的设计旨在增强模型对世界知识和物体属性的理解能力。

技术框架：整体架构包括数据集的构建、预训练和监督微调三个阶段。首先，利用GPT4-Vision生成高质量字幕，然后将其扩展至120万条，最后在多个多模态模型上进行微调和评估。

关键创新：ShareGPT4V数据集的最大创新在于其规模和信息丰富性，超越了现有数据集，提供了更为全面的描述性信息，显著提升了模型的学习效果。

关键设计：在数据集构建过程中，采用了先进的字幕生成模型，并在微调阶段使用了特定的损失函数和参数设置，以确保模型能够有效学习到多模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ShareGPT4V数据集进行微调后，LLaVA-7B、LLaVA-1.5-13B和Qwen-VL-Chat-7B模型在MME和MMBench基准上分别获得了222.8/22.0/22.3和2.7/1.3/1.5的显著性能提升，验证了数据集的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提供高质量的多模态数据集，ShareGPT4V能够促进多模态模型的研究与应用，推动智能系统在理解和生成多模态内容方面的能力提升，具有重要的实际价值和未来影响。

📄 摘要（原文）

In the realm of large multi-modal models (LMMs), efficient modality alignment is crucial yet often constrained by the scarcity of high-quality image-text data. To address this bottleneck, we introduce the ShareGPT4V dataset, a pioneering large-scale resource featuring 1.2 million highly descriptive captions, which surpasses existing datasets in diversity and information content, covering world knowledge, object properties, spatial relationships, and aesthetic evaluations. Specifically, ShareGPT4V originates from a curated 100K high-quality captions collected from advanced GPT4-Vision and has been expanded to 1.2M with a superb caption model trained on this subset. ShareGPT4V first demonstrates its effectiveness for the Supervised Fine-Tuning (SFT) phase, by substituting an equivalent quantity of detailed captions in existing SFT datasets with a subset of our high-quality captions, significantly enhancing the LMMs like LLaVA-7B, LLaVA-1.5-13B, and Qwen-VL-Chat-7B on the MME and MMBench benchmarks, with respective gains of 222.8/22.0/22.3 and 2.7/1.3/1.5. We further incorporate ShareGPT4V data into both the pre-training and SFT phases, obtaining ShareGPT4V-7B, a superior LMM based on a simple architecture that has remarkable performance across a majority of the multi-modal benchmarks. This project is available at https://ShareGPT4V.github.io to serve as a pivotal resource for advancing the LMMs community.