Towards Multimodal In-Context Learning for Vision & Language Models

📄 arXiv: 2403.12736v2 📥 PDF

作者: Sivan Doveh, Shaked Perek, M. Jehanzeb Mirza, Wei Lin, Amit Alfassy, Assaf Arbelle, Shimon Ullman, Leonid Karlinsky

分类: cs.CV

发布日期: 2024-03-19 (更新: 2024-07-17)

💡 一句话要点

提出多轮课程学习方法以提升视觉语言模型的上下文学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 上下文学习 多模态学习 课程学习 性能提升

📋 核心要点

  1. 现有的视觉语言模型在上下文学习（ICL）能力上存在不足，尤其是在少量示例的提示下表现不佳。
  2. 本文提出了一种多轮课程学习方法，通过有效的数据混合来增强VLM的ICL能力。
  3. 实验结果显示，所提方法在多个ICL基准上相比于最强VLM基线提升了21.03%的性能，平均提升11.3%。

📝 摘要（中文）

当前的视觉语言模型（VLMs）主要通过将视觉标记投影到语言标记来实现视觉与语言模态的结合，尽管在许多下游零-shot任务中表现出色，但对上下文学习（ICL）能力的转移关注较少。本文通过广泛评估发现，现有VLM在遵循ICL指令方面存在不足，尤其是在少量示例演示的提示下表现不佳。为此，本文提出了一种简单而有效的多轮课程学习方法，显著提升了ICL性能，平均提升达11.3%。此外，本文还贡献了新的ICL评估基准，并讨论了其相较于现有方法的优势。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在上下文学习（ICL）能力不足的问题，尤其是在少量示例提示下的表现不佳。现有模型虽然经过大规模的混合模态预训练，但缺乏直接的ICL指令调优，导致在ICL任务上表现不理想。

核心思路：为提升VLM的ICL能力，本文提出了一种多轮课程学习方法，旨在通过有效的数据混合和多轮训练策略来增强模型对上下文的理解和应用能力。这样的设计能够更好地利用示例提示，从而提高模型的推理能力。

技术框架：整体架构包括数据准备、模型训练和评估三个主要阶段。在数据准备阶段，通过构建多样化的示例集来丰富训练数据；在模型训练阶段，采用多轮课程学习策略逐步提升模型的学习能力；最后在评估阶段，使用新的ICL基准进行性能测试。

关键创新：本文的主要创新在于提出了多轮课程学习方法，这一方法通过有效的数据混合和逐步训练策略显著提升了VLM在ICL任务上的表现，与现有方法相比，提供了更系统的训练框架。

关键设计：在模型训练中，采用了特定的损失函数来优化ICL能力，并通过调整学习率和批量大小等超参数来提升训练效果。此外，模型结构上结合了视觉和语言模态的特征提取模块，以增强信息融合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的多轮课程学习方法在多个ICL基准上相比于最强的VLM基线提升了21.03%的性能，平均提升达11.3%。这一显著提升展示了新方法在增强模型上下文学习能力方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像描述生成、视觉问答和多模态信息检索等。通过提升视觉语言模型的上下文学习能力，能够在更复杂的任务中实现更高的准确性和灵活性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

State-of-the-art Vision-Language Models (VLMs) ground the vision and the language modality primarily via projecting the vision tokens from the encoder to language-like tokens, which are directly fed to the Large Language Model (LLM) decoder. While these models have shown unprecedented performance in many downstream zero-shot tasks (eg image captioning, question answers, etc), still little emphasis has been put on transferring one of the core LLM capability of In-Context Learning (ICL). ICL is the ability of a model to reason about a downstream task with a few examples demonstrations embedded in the prompt. In this work, through extensive evaluations, we find that the state-of-the-art VLMs somewhat lack the ability to follow ICL instructions. In particular, we discover that even models that underwent large-scale mixed modality pre-training and were implicitly guided to make use of interleaved image and text information (intended to consume helpful context from multiple images) under-perform when prompted with few-shot demonstrations (in an ICL way), likely due to their lack of direct ICL instruction tuning. To enhance the ICL abilities of the present VLM, we propose a simple yet surprisingly effective multi-turn curriculum-based learning methodology with effective data mixes, leading up to a significant 21.03% (and 11.3% on average) ICL performance boost over the strongest VLM baselines and a variety of ICL benchmarks. Furthermore, we also contribute new benchmarks for ICL evaluation in VLMs and discuss their advantages over the prior art.