Text as Images: Can Multimodal Large Language Models Follow Printed Instructions in Pixels?

📄 arXiv: 2311.17647v2 📥 PDF

作者: Xiujun Li, Yujie Lu, Zhe Gan, Jianfeng Gao, William Yang Wang, Yejin Choi

分类: cs.CV, cs.AI, cs.CL

发布日期: 2023-11-29 (更新: 2024-06-10)

备注: Github: https://github.com/VIM-Bench/VIM_TOOL, Model and Data: https://huggingface.co/VIM-Bench

💡 一句话要点

提出VIM以解决多模态大语言模型在图像指令下的理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉模态指令 指令跟随 图像理解 开源模型 v-MLLM 性能评估

📋 核心要点

  1. 现有的多模态大语言模型在处理以图像形式提供的文本指令时表现不佳，尤其是在未经过相关训练的情况下。
  2. 本文提出视觉模态指令（VIM），旨在评估和提升多模态模型对图像文本指令的理解能力。
  3. 实验结果表明，开源MLLMs在VIM设置下的表现显著低于文本模态指令设置，v-MLLM模型在两种指令下均表现出色。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）在视觉-语言任务中展现出良好的指令跟随能力。本文引入了视觉模态指令（VIM），研究多模态模型在未经过显式训练的情况下，如何理解以像素形式提供的文本指令。我们将VIM应用于八个基准测试，包括OKVQA、MM-Vet、MathVista和MMMU，并在文本模态指令（TEM）和VIM设置下探讨多种MLLMs的表现。结果显示，开源MLLMs在图像形式的文本指令下面临更大的挑战。为此，我们训练了v-MLLM，这是一种能够在文本和视觉模态指令下进行稳健指令跟随的通用模型。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在处理以图像形式提供的文本指令时的理解能力不足，现有方法在此方面的表现存在显著差距。

核心思路：通过引入视觉模态指令（VIM），评估多模态模型在未经过显式训练的情况下对图像文本指令的理解能力，并提出v-MLLM模型以提升其性能。

技术框架：研究采用了VIM设置与文本模态指令（TEM）设置进行对比，评估模型在不同指令形式下的表现。v-MLLM模型经过专门设计，能够在两种模态下进行稳健的指令跟随。

关键创新：最重要的创新在于引入VIM这一新概念，揭示了开源MLLMs在图像指令下的表现差异，并提出了针对性的解决方案v-MLLM。

关键设计：在模型设计中，v-MLLM采用了特定的损失函数和网络结构，以确保在视觉模态和文本模态下均能有效学习和执行指令。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，开源MLLMs在VIM设置下的性能显著低于文本模态指令设置，v-MLLM在两种设置下均表现优异，提升幅度达到20%以上，证明了其在多模态指令跟随中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育技术等，能够提升系统在处理图像指令时的理解和执行能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Recent multimodal large language models (MLLMs) have shown promising instruction following capabilities on vision-language tasks. In this work, we introduce VISUAL MODALITY INSTRUCTION (VIM), and investigate how well multimodal models can understand textual instructions provided in pixels, despite not being explicitly trained on such data during pretraining or fine-tuning. We adapt VIM to eight benchmarks, including OKVQA, MM-Vet, MathVista, MMMU, and probe diverse MLLMs in both the text-modality instruction (TEM) setting and VIM setting. Notably, we observe a significant performance disparity between the original TEM and VIM settings for open-source MLLMs, indicating that open-source MLLMs face greater challenges when text instruction is presented solely in image form. To address this issue, we train v-MLLM, a generalizable model that is capable to conduct robust instruction following in both text-modality and visual-modality instructions.