CLIP-Mamba: CLIP Pretrained Mamba Models with OOD and Hessian Evaluation

📄 arXiv: 2404.19394v1 📥 PDF

作者: Weiquan Huang, Yifei Shen, Yifan Yang

分类: cs.CV

发布日期: 2024-04-30

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLIP-Mamba模型以提升零-shot分类与OOD泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Mamba模型 CLIP预训练 零-shot分类 OOD泛化 多模态学习 参数效率 对比学习

📋 核心要点

  1. 现有的视觉模型在零-shot分类和OOD泛化方面存在性能瓶颈，尤其是在参数效率上。
  2. 本研究提出了一种新的Mamba模型，结合CLIP预训练方法，以提高模型的迁移能力和参数效率。
  3. 实验结果表明，67百万参数的Mamba模型在零-shot分类任务上与307百万参数的ViT模型相当，且在OOD测试中表现优异。

📝 摘要（中文）

状态空间模型和基于Mamba的模型在多个领域的应用日益增多，取得了最先进的性能。本技术报告首次尝试利用对比语言-图像预训练（CLIP）训练可迁移的Mamba模型。我们训练了不同规模的Mamba模型，并在26个零-shot分类数据集和16个分布外（OOD）数据集上进行了全面评估。结果显示，67百万参数的Mamba模型在零-shot分类任务上与307百万参数的视觉变换器（ViT）模型表现相当，突显了Mamba模型的参数效率。在OOD泛化测试中，基于Mamba的模型在OOD图像对比或高通滤波条件下表现出色。然而，Hessian分析表明，Mamba模型的损失面较ViT模型更尖锐且非凸，训练难度更大。源代码可在https://github.com/raytrun/mamba-clip获取。

🔬 方法详解

问题定义：本论文旨在解决现有视觉模型在零-shot分类和OOD泛化中的性能不足，尤其是参数效率低的问题。现有方法如ViT模型虽然性能优越，但参数量庞大，训练成本高。

核心思路：论文提出的Mamba模型通过结合CLIP预训练方法，旨在提升模型的迁移能力和参数效率。通过对比语言-图像的预训练，Mamba模型能够更好地理解和处理多模态数据。

技术框架：整体架构包括数据预处理、CLIP预训练、Mamba模型训练和评估四个主要模块。数据预处理阶段负责准备零-shot分类和OOD数据集，CLIP预训练模块用于初始化模型参数，Mamba模型训练则专注于优化模型性能，最后进行全面评估。

关键创新：最重要的技术创新在于首次将CLIP与Mamba模型结合，显著提高了模型的参数效率和迁移能力。这一设计使得Mamba模型在零-shot任务中表现出色，且在OOD泛化中具有更强的适应性。

关键设计：在模型设计中，Mamba模型的参数设置经过精心调整，损失函数采用了对比损失，网络结构则基于Mamba框架进行优化，以确保在不同任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，67百万参数的Mamba模型在26个零-shot分类数据集上表现与307百万参数的ViT模型相当，且在16个OOD数据集上展现出色的泛化能力，尤其在OOD图像对比和高通滤波条件下，性能显著提升，验证了Mamba模型的有效性和优势。

🎯 应用场景

该研究的Mamba模型具有广泛的应用潜力，尤其在需要高效处理多模态数据的领域，如图像识别、自然语言处理和机器人视觉等。其优越的零-shot分类和OOD泛化能力使其在实际应用中能够快速适应新任务，降低训练成本，提升效率。

📄 摘要（原文）

State space models and Mamba-based models have been increasingly applied across various domains, achieving state-of-the-art performance. This technical report introduces the first attempt to train a transferable Mamba model utilizing contrastive language-image pretraining (CLIP). We have trained Mamba models of varying sizes and undertaken comprehensive evaluations of these models on 26 zero-shot classification datasets and 16 out-of-distribution (OOD) datasets. Our findings reveal that a Mamba model with 67 million parameters is on par with a 307 million-parameter Vision Transformer (ViT) model in zero-shot classification tasks, highlighting the parameter efficiency of Mamba models. In tests of OOD generalization, Mamba-based models exhibit exceptional performance in conditions of OOD image contrast or when subjected to high-pass filtering. However, a Hessian analysis indicates that Mamba models feature a sharper and more non-convex landscape compared to ViT-based models, making them more challenging to train. The source code is available at https://github.com/raytrun/mamba-clip.