On Speculative Decoding for Multimodal Large Language Models

📄 arXiv: 2404.08856v1 📥 PDF

作者: Mukul Gagrani, Raghavv Goel, Wonseok Jeon, Junyoung Park, Mingu Lee, Christopher Lott

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-04-13

备注: Accepted as a spotlight paper to ELVM workshop at CVPR 2024

💡 一句话要点

提出投机解码以提升多模态大语言模型的推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 投机解码 推理效率 图像适配器 性能提升

📋 核心要点

  1. 现有的多模态大语言模型在推理时速度较慢，主要受限于内存带宽和自回归生成机制。
  2. 本文提出使用投机解码，利用语言模型作为草稿模型，从而提高推理效率，减少对图像标记的依赖。
  3. 实验结果显示，投机解码在多个任务中实现了高达2.37倍的速度提升，并引入了改进的草稿模型以增强性能。

📝 摘要（中文）

多模态大语言模型（MLLMs）在推理时速度较慢，主要由于其大型语言模型骨干面临内存带宽瓶颈，并且生成标记是自回归的。本文探讨了投机解码在提升MLLM推理效率中的应用，特别是针对LLaVA 7B模型。我们展示了语言模型可以作为投机解码的良好草稿模型，从而绕过图像标记及其相关处理组件。实验结果表明，投机解码在三个不同任务中实现了高达2.37倍的内存限制加速，使用的是我们从零开始训练的115M参数语言模型。此外，我们还引入了一个紧凑的LLaVA草稿模型，结合了图像适配器，在图像描述任务中表现出边际性能提升，同时在其他任务中保持了可比结果。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在推理过程中由于内存带宽瓶颈和自回归生成导致的速度慢的问题。现有方法在处理图像标记时效率低下，影响了整体推理速度。

核心思路：通过引入投机解码，利用一个语言模型作为草稿模型，绕过图像标记的处理，从而提升推理效率。该方法的设计旨在减少对图像信息的依赖，同时保持生成质量。

技术框架：整体架构包括一个草稿模型和主模型，草稿模型负责初步生成，而主模型则进行最终的生成和校正。草稿模型的输出直接影响主模型的输入，从而实现高效推理。

关键创新：最重要的创新点在于将语言模型作为草稿模型，显著提高了推理速度，并且在多个任务中保持了性能的可比性。这一方法与传统的多模态处理方式有本质区别。

关键设计：在模型设计中，草稿模型的参数设置为115M，采用了从零开始训练的策略。损失函数和网络结构经过优化，以确保在图像描述等任务中实现边际性能提升。引入的图像适配器也为模型的紧凑性和效率提供了支持。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，使用投机解码的方案在三个不同任务中实现了高达2.37倍的内存限制加速，显著提升了推理效率。此外，改进的草稿模型在图像描述任务中表现出边际性能提升，确保了在其他任务中的可比性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动图像描述生成和多模态内容创作等。通过提升多模态大语言模型的推理效率，能够在实时应用中提供更流畅的用户体验，推动相关技术的实际应用与发展。

📄 摘要（原文）

Inference with Multimodal Large Language Models (MLLMs) is slow due to their large-language-model backbone which suffers from memory bandwidth bottleneck and generates tokens auto-regressively. In this paper, we explore the application of speculative decoding to enhance the inference efficiency of MLLMs, specifically the LLaVA 7B model. We show that a language-only model can serve as a good draft model for speculative decoding with LLaVA 7B, bypassing the need for image tokens and their associated processing components from the draft model. Our experiments across three different tasks show that speculative decoding can achieve a memory-bound speedup of up to 2.37$\times$ using a 115M parameter language model that we trained from scratch. Additionally, we introduce a compact LLaVA draft model incorporating an image adapter, which shows marginal performance gains in image captioning while maintaining comparable results in other tasks.