LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model

📄 arXiv: 2404.01331v2 📥 PDF

作者: Musashi Hinck, Matthew L. Olson, David Cobbley, Shao-Yen Tseng, Vasudev Lal

分类: cs.CL, cs.AI

发布日期: 2024-03-29 (更新: 2024-06-10)

备注: CVPR 2024, MMFM workshop. Authors 1 and 2 contributed equally. Models available at https://huggingface.co/intel/llava-gemma-2b/ and https://huggingface.co/intel/llava-gemma-7b/ Training code at https://github.com/IntelLabs/multimodal_cognitive_ai/tree/main/LLaVA-Gemma

💡 一句话要点

提出LLaVA-Gemma以加速多模态基础模型的训练

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基础模型 LLaVA框架 Gemma模型 模型预训练 视觉主干 语言主干 性能评估

📋 核心要点

  1. 现有多模态模型在性能和规模之间存在权衡，难以实现高效训练与优越性能的平衡。
  2. 本文提出LLaVA-Gemma模型，通过结合LLaVA框架与Gemma语言模型，探索多模态模型的有效构建方法。
  3. 实验结果表明，尽管LLaVA-Gemma在多项评估中表现中等，但未能超越同类最优模型，显示出设计选择的复杂性。

📝 摘要（中文）

本文使用流行的LLaVA框架与新发布的Gemma系列大语言模型（LLMs）训练了一系列多模态基础模型（MMFM）。特别关注的是2B参数的Gemma模型，为构建小规模MMFM提供了机会。我们测试了三种设计特征的影响：连接器的预训练、使用更强大的图像主干以及增加语言主干的规模。结果显示，LLaVA-Gemma模型在多项评估中表现中等，但未能超越当前同类最优模型。性能分析显示，跳过预训练通常会降低性能，较大的视觉模型有时会提升性能，而增加语言模型规模的效果则不一致。我们公开了LLaVA-Gemma模型的训练配方、代码和权重。

🔬 方法详解

问题定义：本文旨在解决多模态基础模型在性能与训练效率之间的平衡问题。现有方法在设计选择上存在不确定性，导致性能提升有限。

核心思路：论文通过结合LLaVA框架与Gemma语言模型，探索不同设计特征对模型性能的影响，尤其关注预训练、视觉主干和语言主干的规模。

技术框架：整体架构包括三个主要模块：图像处理模块、语言处理模块和连接器模块。图像模块使用强大的视觉主干，语言模块则基于Gemma模型进行构建。

关键创新：最重要的创新在于通过系统性地测试设计特征的影响，揭示了预训练和模型规模对性能的复杂影响，提供了新的研究视角。

关键设计：在设计中，连接器的预训练被认为是关键因素，使用了不同规模的视觉主干，并对语言主干的规模进行了调整，实验结果显示这些设计选择对最终性能有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，LLaVA-Gemma模型在多项评估中表现中等，但未能超越当前同类最优模型。具体而言，跳过预训练通常导致性能下降，而较大的视觉模型有时能提升性能，语言模型规模的增加则表现出不一致的效果，反映出设计选择的复杂性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理以及人机交互等。通过优化多模态模型的训练效率和性能，LLaVA-Gemma有望在智能助手、自动驾驶、医疗影像分析等领域发挥重要作用，推动相关技术的进步与应用。

📄 摘要（原文）

We train a suite of multimodal foundation models (MMFM) using the popular LLaVA framework with the recently released Gemma family of large language models (LLMs). Of particular interest is the 2B parameter Gemma model, which provides opportunities to construct capable small-scale MMFMs. In line with findings from other papers in this space, we test the effect of ablating three design features: pretraining the connector, utilizing a more powerful image backbone, and increasing the size of the language backbone. The resulting models, which we call LLaVA-Gemma, exhibit moderate performance on an array of evaluations, but fail to improve past the current comparably sized SOTA models. Closer analysis of performance shows mixed effects; skipping pretraining tends to reduce performance, larger vision models sometimes improve performance, and increasing language model size has inconsistent effects. We publicly release training recipes, code and weights for our models for the LLaVA-Gemma models.