Contrastive Vision-Language Alignment Makes Efficient Instruction Learner

📄 arXiv: 2311.17945v1 📥 PDF

作者: Lizhao Liu, Xinyu Sun, Tianhang Xiang, Zhuangwei Zhuang, Liuren Yin, Mingkui Tan

分类: cs.CV

发布日期: 2023-11-29

备注: 17 pages, 10 pages for main paper, 7 pages for supplementary

💡 一句话要点

提出CG-VLM以解决视觉语言指令学习效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言对齐 指令学习 对比学习 生成学习 多模态融合

📋 核心要点

  1. 现有方法主要依赖生成图像描述的方式进行视觉与语言的对齐，但效果较弱，导致对指令微调数据的需求量大。
  2. 论文提出CG-VLM，通过结合对比和生成对齐目标，来有效对齐视觉变换器和大型语言模型的表示。
  3. 实验结果显示，使用仅10%的指令微调数据，CG-VLM在零-shot ScienceQA-Image基准上达到了95%的LLaVA方法性能。

📝 摘要（中文）

本研究探讨将大型语言模型（LLM）扩展为视觉语言指令跟随模型的任务。由于LLM仅在文本模态上训练，难以有效处理视觉模态，现有方法通常通过生成图像描述损失训练视觉适配器以对齐预训练的视觉变换器（ViT）和LLM的表示。然而，我们发现生成目标只能产生弱的视觉与语言对齐，使得对齐的视觉语言模型对指令微调数据的需求很高。为此，本文提出CG-VLM，结合对比和生成对齐目标，有效对齐ViT和LLM的表示。与常见对比学习设置中的图像级和句子级对齐不同，CG-VLM在图像块级特征和文本标记级嵌入之间进行对齐。通过最大化池化图像块特征与文本标记嵌入之间的平均相似度，解决了标准图像描述数据集中缺乏明确的基础块-标记关系的问题。大量实验表明，CG-VLM在视觉语言对齐方面表现出色，并且是高效的指令学习者。

🔬 方法详解

问题定义：本论文旨在解决将大型语言模型（LLM）扩展为视觉语言指令跟随模型时，现有方法在视觉与语言对齐上的不足，特别是生成目标导致的弱对齐问题。

核心思路：提出CG-VLM，通过同时应用对比和生成对齐目标，来增强视觉变换器（ViT）与LLM之间的表示对齐。此设计旨在克服生成目标的局限性，提升对齐效果。

技术框架：CG-VLM的整体架构包括两个主要模块：视觉变换器（ViT）用于提取图像特征，以及大型语言模型（LLM）用于处理文本信息。通过对比学习和生成学习的结合，模型在图像块级特征与文本标记级嵌入之间进行对齐。

关键创新：最重要的创新在于CG-VLM在图像块级与文本标记级的对齐方式，区别于传统的图像级和句子级对齐，解决了标准数据集中缺乏明确基础块-标记关系的问题。

关键设计：在损失函数设计上，CG-VLM最大化池化图像块特征与文本标记嵌入之间的平均相似度，确保对齐的有效性。此外，模型的训练过程中采用了对比损失和生成损失的结合，以提升整体性能。

📊 实验亮点

CG-VLM在实验中表现出色，使用仅10%的指令微调数据，达到了95%的LLaVA方法性能，显示出其在视觉语言对齐和指令学习效率上的显著提升。这一结果表明，CG-VLM在资源有限的情况下仍能实现高效的学习和应用。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动图像描述生成、以及多模态交互系统等。通过提高视觉语言模型的指令学习效率，CG-VLM能够在实际应用中更好地理解和执行用户指令，提升用户体验。未来，该技术可能推动更复杂的多模态任务的发展，如视觉问答和图像理解等。

📄 摘要（原文）

We study the task of extending the large language model (LLM) into a vision-language instruction-following model. This task is crucial but challenging since the LLM is trained on text modality only, making it hard to effectively digest the visual modality. To address this, existing methods typically train a visual adapter to align the representation between a pre-trained vision transformer (ViT) and the LLM by a generative image captioning loss. However, we find that the generative objective can only produce weak alignment for vision and language, making the aligned vision-language model very hungry for the instruction fine-tuning data. In this paper, we propose CG-VLM that applies both Contrastive and Generative alignment objectives to effectively align the representation of ViT and LLM. Different from image level and sentence level alignment in common contrastive learning settings, CG-VLM aligns the image-patch level features and text-token level embeddings, which, however, is very hard to achieve as no explicit grounding patch-token relation provided in standard image captioning datasets. To address this issue, we propose to maximize the averaged similarity between pooled image-patch features and text-token embeddings. Extensive experiments demonstrate that the proposed CG-VLM produces strong vision-language alignment and is an efficient instruction learner. For example, using only 10% instruction tuning data, we reach 95% performance of state-of-the-art method LLaVA [29] on the zero-shot ScienceQA-Image benchmark.