TinyLLaVA: A Framework of Small-scale Large Multimodal Models

📄 arXiv: 2402.14289v1 📥 PDF

作者: Baichuan Zhou, Ying Hu, Xi Weng, Junlong Jia, Jie Luo, Xien Liu, Ji Wu, Lei Huang

分类: cs.LG, cs.CL

发布日期: 2024-02-22

备注: Our model weights and codes will be made public at https://github.com/DLCV-BUAA/TinyLLaVABench

💡 一句话要点

提出TinyLLaVA框架以优化小规模多模态模型设计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小规模模型 多模态学习 视觉编码器 训练优化 模型性能

📋 核心要点

  1. 现有的大型多模态模型通常需要大量计算资源，限制了小规模模型的应用和发展。
  2. TinyLLaVA框架通过优化数据质量和训练方案，旨在提升小规模多模态模型的性能，提供统一的设计视角。
  3. 实验结果显示，TinyLLaVA-3.1B在性能上超越了多个7B模型，证明了小规模模型的潜力。

📝 摘要（中文）

我们提出了TinyLLaVA框架，为小规模大型多模态模型（LMMs）的设计和分析提供了统一视角。通过实证研究不同视觉编码器、连接模块、语言模型、训练数据和训练方案的影响，我们的实验表明，优质数据结合良好的训练方案使得小型LMMs在性能上可与大型LMMs相媲美。在该框架下，我们训练了一系列小规模LMMs，其中TinyLLaVA-3.1B模型在整体性能上优于现有的7B模型，如LLaVA-1.5和Qwen-VL。我们希望这些发现能为未来在数据扩展、训练设置和模型选择方面的研究提供基线。我们的模型权重和代码将公开发布。

🔬 方法详解

问题定义：本论文旨在解决小规模大型多模态模型（LMMs）在性能和资源消耗上的矛盾。现有方法通常依赖于大型模型，导致计算成本高昂，限制了其广泛应用。

核心思路：TinyLLaVA框架通过系统性地研究不同的视觉编码器、连接模块和训练方案，提出了一种优化小规模LMMs性能的策略。该框架强调数据质量和训练方法的重要性，旨在实现小模型与大模型相当的性能。

技术框架：TinyLLaVA框架包括多个模块，如视觉编码器、语言模型和连接模块。通过对这些模块的组合和优化，框架能够有效地提升小规模模型的表现。训练过程中，采用了多种数据集和训练策略，以确保模型的泛化能力。

关键创新：本研究的主要创新在于提出了一种新的小规模LMMs训练方法，强调数据质量和训练方案的结合，使得小模型能够在性能上与大型模型相媲美。这一方法与传统依赖于大规模模型的策略形成鲜明对比。

关键设计：在模型设计中，采用了高效的视觉编码器和语言模型，结合了多种连接模块。训练过程中，使用了优化的损失函数和参数设置，以提高模型的学习效率和性能表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TinyLLaVA-3.1B模型在整体性能上超越了现有的7B模型，如LLaVA-1.5和Qwen-VL，证明了小规模模型在多模态任务中的有效性。具体而言，TinyLLaVA-3.1B在多个基准测试中表现出色，展示了其在数据质量和训练方案优化下的潜力。

🎯 应用场景

TinyLLaVA框架的研究成果在多个领域具有潜在应用价值，包括智能助手、图像理解、自动内容生成等。通过优化小规模模型的性能，该框架有望推动多模态技术的普及和应用，降低资源消耗，同时提升用户体验。

📄 摘要（原文）

We present the TinyLLaVA framework that provides a unified perspective in designing and analyzing the small-scale Large Multimodal Models (LMMs). We empirically study the effects of different vision encoders, connection modules, language models, training data and training recipes. Our extensive experiments showed that better quality of data combined with better training recipes, smaller LMMs can consistently achieve on-par performances compared to bigger LMMs. Under our framework, we train a family of small-scale LMMs. Our best model, TinyLLaVA-3.1B, achieves better overall performance against existing 7B models such as LLaVA-1.5 and Qwen-VL. We hope our findings can serve as baselines for future research in terms of data scaling, training setups and model selections. Our model weights and codes will be made public.