EVA-CLIP-18B: Scaling CLIP to 18 Billion Parameters

📄 arXiv: 2402.04252v1 📥 PDF

作者: Quan Sun, Jinsheng Wang, Qiying Yu, Yufeng Cui, Fan Zhang, Xiaosong Zhang, Xinlong Wang

分类: cs.CV

发布日期: 2024-02-06

💡 一句话要点

提出EVA-CLIP-18B以提升多模态模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 对比学习 图像分类 模型扩展 开源模型

📋 核心要点

  1. 现有的CLIP模型在参数规模和训练样本数量上存在限制，难以充分发挥多模态学习的潜力。
  2. EVA-CLIP-18B通过扩展模型参数至180亿，展示了在相同训练数据集下的性能提升，推动了视觉模型的弱到强的扩展。
  3. 实验结果显示，EVA-CLIP-18B在27个图像分类基准上平均达到80.7%的零-shot准确率，显著优于其他模型。

📝 摘要（中文）

随着对对比语言-图像预训练（CLIP）模型的需求增加，本文提出了EVA-CLIP-18B，这是迄今为止最大的开源CLIP模型，参数量达到180亿。尽管仅使用了60亿个训练样本，EVA-CLIP-18B在27个广泛认可的图像分类基准上实现了80.7%的零-shot top-1准确率，显著超越了前身EVA-CLIP（50亿参数）及其他开源CLIP模型。研究表明，尽管训练数据集保持不变，EVA-CLIP的模型规模扩展仍能带来一致的性能提升。我们希望通过公开模型权重，促进视觉和多模态基础模型的未来研究。

🔬 方法详解

问题定义：本文旨在解决现有CLIP模型在参数规模和训练样本数量上的不足，导致其在多模态学习中的表现受限。

核心思路：通过将模型参数扩展至180亿，EVA-CLIP-18B能够在相同的训练数据集上实现更高的性能，展示了模型规模与性能之间的正相关性。

技术框架：EVA-CLIP-18B的整体架构基于对比学习，主要模块包括图像编码器、文本编码器和对比损失计算。模型通过对比学习优化图像和文本的相似性。

关键创新：EVA-CLIP-18B的最大创新在于其参数规模的显著提升，尽管训练数据集相对较小，依然实现了性能的突破，展示了模型扩展的有效性。

关键设计：模型采用了高效的参数共享机制和优化算法，损失函数设计为对比损失，确保图像和文本之间的有效对齐。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

EVA-CLIP-18B在27个图像分类基准上实现了80.7%的零-shot top-1准确率，较前身EVA-CLIP提升了显著的性能，展示了模型规模扩展的有效性。该模型在仅使用60亿训练样本的情况下，超越了其他开源CLIP模型，显示出其强大的学习能力。

🎯 应用场景

EVA-CLIP-18B在图像分类、图像检索和多模态理解等领域具有广泛的应用潜力。其强大的性能能够推动智能视觉系统的发展，促进人机交互和自动化决策的进步。未来，该模型的开放性也将激励更多研究者在多模态学习领域进行探索。

📄 摘要（原文）

Scaling up contrastive language-image pretraining (CLIP) is critical for empowering both vision and multimodal models. We present EVA-CLIP-18B, the largest and most powerful open-source CLIP model to date, with 18-billion parameters. With only 6-billion training samples seen, EVA-CLIP-18B achieves an exceptional 80.7% zero-shot top-1 accuracy averaged across 27 widely recognized image classification benchmarks, outperforming its forerunner EVA-CLIP (5-billion parameters) and other open-source CLIP models by a large margin. Remarkably, we observe a consistent performance improvement with the model size scaling of EVA-CLIP, despite maintaining a constant training dataset of 2-billion image-text pairs from LAION-2B and COYO-700M. This dataset is openly available and much smaller than the in-house datasets (e.g., DFN-5B, WebLI-10B) employed in other state-of-the-art CLIP models. EVA-CLIP-18B demonstrates the potential of EVA-style weak-to-strong visual model scaling. With our model weights made publicly available, we hope to facilitate future research in vision and multimodal foundation models.