COSMO: COntrastive Streamlined MultimOdal Model with Interleaved Pre-Training

📄 arXiv: 2401.00849v1 📥 PDF

作者: Alex Jinpeng Wang, Linjie Li, Kevin Qinghong Lin, Jianfeng Wang, Kevin Lin, Zhengyuan Yang, Lijuan Wang, Mike Zheng Shou

分类: cs.CV

发布日期: 2024-01-01

备注: 16 pages; Website: http://fingerrec.github.io/cosmo

💡 一句话要点

提出COSMO模型以解决长文本生成与对齐任务的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 蒸馏训练 多模态融合 对比学习 文本生成

📋 核心要点

  1. 现有的自回归视觉-语言模型在对齐任务上表现不佳，尤其是在处理长文本时面临挑战。
  2. 本文提出COSMO模型，通过引入对比损失，优化文本生成模型，增强了多模态数据处理能力。
  3. COSMO模型在14个下游数据集上表现优异，参数量减少34%，在4-shot flickr captioning任务中性能提升显著。

📝 摘要（中文）

在视觉-语言预训练的发展中，从短文本理解转向涵盖扩展文本上下文至关重要。近期的自回归视觉-语言模型在少量样本文本生成任务中表现优异，但在对齐任务上面临挑战。为此，本文引入对比损失到文本生成模型中，提出了COntrastive-Streamlined MultimOdal框架（COSMO），将语言模型分为专门的单模态文本处理和多模态数据处理组件。COSMO统一框架融合了单模态和多模态元素，提升了文本和视觉数据任务的模型性能，同时显著减少了可学习参数。为填补高质量长文本视频数据集的缺乏，本文推出了首个交错视频-文本数据集，展示了其在图像-文本任务中的影响。COSMO在多个下游数据集上表现出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有自回归视觉-语言模型在长文本生成和对齐任务中的不足，尤其是缺乏高质量长文本视频数据集的问题。

核心思路：通过引入对比损失，COSMO模型将语言模型分为单模态文本处理和多模态数据处理两个部分，从而提高模型对长文本的处理能力和对齐效果。

技术框架：COSMO框架包括两个主要模块：单模态文本处理模块和多模态数据处理模块。前者专注于文本的理解和生成，后者则处理图像和文本的交互。

关键创新：COSMO的核心创新在于将对比损失引入文本生成模型，显著提升了模型在多模态任务中的表现，并且通过模块化设计减少了可学习参数。

关键设计：模型采用了特定的损失函数来优化对比学习过程，并在网络结构上进行了优化，以确保在处理长文本时的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

COSMO模型在多个下游数据集上表现出显著的性能提升，尤其是在4-shot flickr captioning任务中，性能从57.2%提升至65%。此外，模型的可学习参数减少了34%，并且有效利用了72%的可用数据，展现出优越的性能。

🎯 应用场景

COSMO模型的潜在应用场景包括视频理解、图像描述生成和多模态检索等领域。其在长文本生成和对齐任务中的优势使其在实际应用中具有较高的价值，能够推动相关技术的发展和应用。未来，COSMO有望在更广泛的多模态任务中发挥重要作用。

📄 摘要（原文）

In the evolution of Vision-Language Pre-training, shifting from short-text comprehension to encompassing extended textual contexts is pivotal. Recent autoregressive vision-language models like \cite{flamingo, palme}, leveraging the long-context capability of Large Language Models, have excelled in few-shot text generation tasks but face challenges in alignment tasks. Addressing this gap, we introduce the contrastive loss into text generation models, presenting the COntrastive-Streamlined MultimOdal framework (\ModelName), strategically partitioning the language model into dedicated unimodal text processing and adept multimodal data handling components. \ModelName, our unified framework, merges unimodal and multimodal elements, enhancing model performance for tasks involving textual and visual data while notably reducing learnable parameters. However, these models demand extensive long-text datasets, yet the availability of high-quality long-text video datasets remains limited. To bridge this gap, this work introduces \VideoDatasetName, an inaugural interleaved video-text dataset featuring comprehensive captions, marking a significant step forward. Demonstrating its impact, we illustrate how \VideoDatasetName{} enhances model performance in image-text tasks. With 34% learnable parameters and utilizing 72\% of the available data, our model demonstrates significant superiority over OpenFlamingo~\cite{openflamingo}. For instance, in the 4-shot flickr captioning task, performance notably improves from 57.2% to 65.\%. The contributions of \ModelName{} and \VideoDatasetName{} are underscored by notable performance gains across 14 diverse downstream datasets encompassing both image-text and video-text tasks.