DreamLIP: Language-Image Pre-training with Long Captions

📄 arXiv: 2403.17007v1 📥 PDF

作者: Kecheng Zheng, Yifei Zhang, Wei Wu, Fan Lu, Shuailei Ma, Xin Jin, Wei Chen, Yujun Shen

分类: cs.CV

发布日期: 2024-03-25

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DreamLIP以解决长文本描述图像的不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本描述 多模态学习 对比学习 图像-文本检索 语义分割 动态抽样 自监督学习

📋 核心要点

  1. 现有的语言-图像预训练方法通常依赖于简短的文本描述，无法充分利用图像的丰富信息。
  2. 本文提出了一种动态抽样子描述的方法，通过长文本生成多个正样本对，增强模型的学习能力。
  3. 实验结果显示，DreamLIP在多个下游任务中表现优于现有方法，尤其在图像-文本检索和语义分割任务上具有显著优势。

📝 摘要（中文）

语言-图像预训练在很大程度上依赖于文本对图像的准确描述。然而，现有数据集中通常缺乏详细的长文本描述。为了解决这一问题，本文使用预训练的多模态大语言模型对3000万张图像进行了重新标注，并在对比学习框架下研究了这些长文本的使用。我们观察到，长文本中的每个句子往往只部分描述图像，因此提出动态抽样子描述的方法，构建多个正样本对，并引入分组损失以自监督方式匹配子描述与对应的局部图像特征。实验结果表明，DreamLIP在多项下游任务中表现优越，尤其在图像-文本检索和语义分割任务上，使用3000万对图像-文本的模型性能与使用4亿对的CLIP相当或更好。

🔬 方法详解

问题定义：本文旨在解决现有语言-图像预训练方法中缺乏长文本描述的问题，现有方法往往无法充分捕捉图像的丰富信息，导致模型性能受限。

核心思路：我们提出通过动态抽样长文本中的子描述来构建多个正样本对，从而增强模型对图像细节的学习能力。这样的设计能够更好地利用长文本的丰富信息。

技术框架：整体架构包括图像重新标注、子描述抽样和对比学习三个主要模块。首先，使用预训练的多模态大语言模型对图像进行详细描述；然后，从长文本中动态抽样子描述；最后，通过对比学习框架进行训练。

关键创新：最重要的创新在于引入了动态抽样子描述的机制和分组损失函数，使得模型能够自监督地匹配子描述与局部图像特征，这在现有方法中尚未实现。

关键设计：在损失函数设计上，采用分组损失以确保每个子描述与其对应的图像特征之间的匹配度。同时，网络结构上结合了多模态特征提取和对比学习的策略，以提升模型的表示能力。

📊 实验亮点

实验结果表明，DreamLIP在图像-文本检索和语义分割任务上，使用3000万对图像-文本的模型性能与使用4亿对的CLIP相当或更好，显示出其在细粒度表示能力上的优势。

🎯 应用场景

该研究的潜在应用领域包括图像-文本检索、语义分割以及多模态内容生成等。通过提高模型对图像细节的理解能力，DreamLIP可在自动标注、智能搜索和内容推荐等实际场景中发挥重要作用，推动多模态学习的发展。

📄 摘要（原文）

Language-image pre-training largely relies on how precisely and thoroughly a text describes its paired image. In practice, however, the contents of an image can be so rich that well describing them requires lengthy captions (e.g., with 10 sentences), which are usually missing in existing datasets. Consequently, there are currently no clear evidences on whether and how language-image pre-training could benefit from long captions. To figure this out, we first re-caption 30M images with detailed descriptions using a pre-trained Multi-modality Large Language Model (MLLM), and then study the usage of the resulting captions under a contrastive learning framework. We observe that, each sentence within a long caption is very likely to describe the image partially (e.g., an object). Motivated by this, we propose to dynamically sample sub-captions from the text label to construct multiple positive pairs, and introduce a grouping loss to match the embeddings of each sub-caption with its corresponding local image patches in a self-supervised manner. Experimental results on a wide rage of downstream tasks demonstrate the consistent superiority of our method, termed DreamLIP, over previous alternatives, highlighting its fine-grained representational capacity. It is noteworthy that, on the tasks of image-text retrieval and semantic segmentation, our model trained with 30M image-text pairs achieves on par or even better performance than CLIP trained with 400M pairs. Project page is available at https://zyf0619sjtu.github.io/dream-lip.