M2-Encoder: Advancing Bilingual Image-Text Understanding by Large-scale Efficient Pretraining

📄 arXiv: 2401.15896v2 📥 PDF

作者: Qingpei Guo, Furong Xu, Hanxiao Zhang, Wang Ren, Ziping Ma, Lin Ju, Jian Wang, Jingdong Chen, Ming Yang

分类: cs.CV, cs.AI

发布日期: 2024-01-29 (更新: 2024-02-04)

💡 一句话要点

提出M2-Encoder以解决多语言图像文本理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双语数据集 视觉语言模型 对比学习 多模态检索 图像分类 深度学习

📋 核心要点

  1. 现有的多语言视觉语言模型在中文和英文的理解上存在数据集稀缺的问题，导致模型性能不足。
  2. 本文提出了BM-6B数据集，并通过分组聚合方法优化图像-文本对比损失计算，显著提高了训练效率。
  3. 实验结果显示，M²-Encoder-10B模型在多个任务上超越了现有的最先进方法，展现了强大的双语理解能力。

📝 摘要（中文）

视觉语言基础模型如CLIP已经在人工智能领域引发了革命。然而，支持多语言的视觉语言模型（VLM）在中文和英文的应用上相对滞后，主要由于大规模预训练数据集的稀缺。为此，本文引入了一个包含超过60亿对图像-文本的综合双语数据集BM-6B，旨在增强多模态基础模型对两种语言图像的理解能力。我们提出了一种新颖的分组聚合方法来计算图像-文本对比损失，显著降低了通信开销和GPU内存需求，从而提升了训练速度60%。我们在BM-6B上预训练了一系列双语图像-文本基础模型，称为M²-Encoders，设定了多模态检索和分类任务的新基准。我们的最大模型M²-Encoder-10B在零-shot分类设置下，ImageNet的top-1准确率达到了88.5%，在ImageNet-CN上为80.7%，分别超越了之前的SoTA方法2.2%和21.1%。

🔬 方法详解

问题定义：本文旨在解决多语言视觉语言模型在中文和英文理解上的不足，尤其是由于缺乏大规模双语数据集而导致的性能限制。

核心思路：我们通过构建BM-6B数据集，提供了一个包含超过60亿对图像-文本的双语数据集，并提出了一种新颖的分组聚合方法来计算对比损失，从而提高训练效率。

技术框架：整体架构包括数据集构建、模型预训练和评估三个主要阶段。数据集提供了丰富的双语图像-文本对，模型通过对比学习进行训练，最后在多模态检索和分类任务上进行评估。

关键创新：最重要的创新在于提出的分组聚合方法，它显著降低了通信开销和GPU内存需求，使得训练速度提高了60%。与现有方法相比，这种设计在处理大规模数据集时更为高效。

关键设计：在模型设计中，采用了改进的对比损失函数，并优化了网络结构以适应双语数据的特性。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，M²-Encoder-10B模型在ImageNet上达到了88.5%的top-1准确率，在ImageNet-CN上为80.7%，分别超越了之前的最先进方法2.2%和21.1%。这一成果展示了该模型在多模态任务中的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括跨语言的图像检索、图像分类以及多模态内容生成等。通过增强模型的双语理解能力，可以在多语言环境中提供更为精准的图像和文本匹配服务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-language foundation models like CLIP have revolutionized the field of artificial intelligence. Nevertheless, VLM models supporting multi-language, e.g., in both Chinese and English, have lagged due to the relative scarcity of large-scale pretraining datasets. Toward this end, we introduce a comprehensive bilingual (Chinese-English) dataset BM-6B with over 6 billion image-text pairs, aimed at enhancing multimodal foundation models to well understand images in both languages. To handle such a scale of dataset, we propose a novel grouped aggregation approach for image-text contrastive loss computation, which reduces the communication overhead and GPU memory demands significantly, facilitating a 60% increase in training speed. We pretrain a series of bilingual image-text foundation models with an enhanced fine-grained understanding ability on BM-6B, the resulting models, dubbed as $M^2$-Encoders (pronounced "M-Square"), set new benchmarks in both languages for multimodal retrieval and classification tasks. Notably, Our largest $M^2$-Encoder-10B model has achieved top-1 accuracies of 88.5% on ImageNet and 80.7% on ImageNet-CN under a zero-shot classification setting, surpassing previously reported SoTA methods by 2.2% and 21.1%, respectively. The $M^2$-Encoder series represents one of the most comprehensive bilingual image-text foundation models to date, so we are making it available to the research community for further exploration and development.