Scalable Pre-training of Large Autoregressive Image Models

📄 arXiv: 2401.08541v1 📥 PDF

作者: Alaaeldin El-Nouby, Michal Klein, Shuangfei Zhai, Miguel Angel Bautista, Alexander Toshev, Vaishaal Shankar, Joshua M Susskind, Armand Joulin

分类: cs.CV

发布日期: 2024-01-16

备注: https://github.com/apple/ml-aim

💡 一句话要点

提出AIM模型以实现大规模自回归图像预训练

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归模型 视觉特征学习 大规模预训练 计算机视觉 深度学习

📋 核心要点

  1. 现有的视觉模型在大规模训练时面临性能饱和的问题，限制了其应用潜力。
  2. 本文提出的AIM模型通过自回归目标进行预训练，借鉴了LLMs的成功经验，展现出良好的扩展性。
  3. 实验结果表明，AIM在ImageNet-1k上达到了84.0%的准确率，且在70亿参数的规模下仍未出现性能饱和现象。

📝 摘要（中文）

本文介绍了AIM，一个通过自回归目标进行预训练的视觉模型集合。这些模型受到大型语言模型（LLMs）的启发，展现出类似的扩展特性。我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提升；（2）目标函数的值与模型在下游任务上的表现相关。通过在20亿张图像上预训练一个70亿参数的AIM模型，我们在ImageNet-1k上达到了84.0%的准确率，且在此规模下未观察到性能饱和的迹象，表明AIM可能代表了大规模视觉模型训练的新前沿。AIM的预训练与LLMs的预训练相似，不需要任何特定于图像的策略来稳定大规模训练。

🔬 方法详解

问题定义：本文旨在解决现有视觉模型在大规模训练中性能饱和的问题，现有方法往往无法充分利用大规模数据集的潜力。

核心思路：AIM模型通过自回归目标进行预训练，借鉴了大型语言模型的成功经验，旨在提升视觉特征的学习效率和下游任务的性能。

技术框架：AIM的整体架构包括数据预处理、模型设计、训练过程和评估阶段。模型通过自回归方式生成视觉特征，利用大规模图像数据进行训练。

关键创新：AIM的主要创新在于其自回归预训练策略，区别于传统的视觉模型训练方法，能够更好地利用大规模数据集。

关键设计：在模型设计上，AIM采用了70亿参数的架构，损失函数与目标函数的设计紧密相关，确保模型在训练过程中能够有效学习视觉特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，AIM模型在ImageNet-1k上达到了84.0%的准确率，且在70亿参数的规模下未观察到性能饱和现象。这一结果表明AIM在大规模视觉模型训练中具有显著的优势，可能推动未来视觉模型的发展。

🎯 应用场景

AIM模型的潜在应用领域包括计算机视觉、自动驾驶、医疗影像分析等。其高效的预训练方法能够为各种视觉任务提供强大的特征支持，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

This paper introduces AIM, a collection of vision models pre-trained with an autoregressive objective. These models are inspired by their textual counterparts, i.e., Large Language Models (LLMs), and exhibit similar scaling properties. Specifically, we highlight two key findings: (1) the performance of the visual features scale with both the model capacity and the quantity of data, (2) the value of the objective function correlates with the performance of the model on downstream tasks. We illustrate the practical implication of these findings by pre-training a 7 billion parameter AIM on 2 billion images, that achieves 84.0% on ImageNet-1k with a frozen trunk. Interestingly, even at this scale, we observe no sign of saturation in performance, suggesting that AIM potentially represents a new frontier for training large-scale vision models. The pre-training of AIM is similar to the pre-training of LLMs, and does not require any image-specific strategy to stabilize the training at scale.