Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders

📄 arXiv: 2403.17823v2 📥 PDF

作者: Alexandre Eymaël, Renaud Vandeghen, Anthony Cioppa, Silvio Giancola, Bernard Ghanem, Marc Van Droogenbroeck

分类: cs.CV

发布日期: 2024-03-26 (更新: 2024-07-18)

备注: 19 pages, 7 figures, 5 tables, 3 pages of supplementary material. Paper accepted at ECCV 2024

DOI: 10.1007/978-3-031-73337-6_20

🔗 代码/项目: GITHUB

💡 一句话要点

提出CropMAE以解决视频数据依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 图像编码 掩码自编码器 Siamese网络 图像裁剪 计算机视觉 深度学习

📋 核心要点

  1. 现有方法依赖视频数据集进行自监督学习，限制了其应用场景和效率。
  2. CropMAE通过使用同一图像的不同裁剪对进行预训练，避免了对视频数据的依赖。
  3. 实验结果表明，CropMAE在保持高性能的同时，显著减少了预训练时间，并实现了98.5%的掩码比例。

📝 摘要（中文）

自监督图像编码器的预训练在文献中广泛存在，特别是在引入掩码自编码器（MAE）之后。当前的研究努力尝试从视频中的运动中学习以物体为中心的表示。SiamMAE最近引入了一种Siamese网络，从视频的两个帧中训练共享权重编码器，具有高达95%的不对称掩码比例。本文提出了CropMAE，这是一种替代SiamMAE的Siamese预训练方法。我们的方法专门考虑来自同一图像但裁剪方式不同的图像对，避免了从视频中提取帧的传统做法。CropMAE因此减轻了对视频数据集的需求，同时保持了竞争力的性能，并显著减少了预训练和学习时间。此外，我们展示了CropMAE在没有显式运动的情况下学习到类似的以物体为中心的表示，表明当前的自监督学习方法并不是通过显式的物体运动学习这些表示，而是通过两种视图之间发生的隐式图像变换。最后，CropMAE实现了迄今为止最高的掩码比例（98.5%），仅使用两个可见补丁即可重建图像。

🔬 方法详解

问题定义：本文旨在解决现有自监督学习方法对视频数据集的依赖问题。现有方法如SiamMAE需要从视频帧中提取信息，限制了其应用范围和效率。

核心思路：CropMAE的核心思路是使用同一图像的不同裁剪对进行预训练，避免了视频数据的需求，同时仍能学习到以物体为中心的表示。这样的设计使得模型能够在没有显式运动信息的情况下进行有效学习。

技术框架：CropMAE的整体架构包括图像裁剪模块、共享权重编码器和重建模块。首先，从输入图像中生成不同的裁剪，然后通过共享权重的编码器进行特征提取，最后重建图像以评估模型性能。

关键创新：CropMAE的最重要创新在于其使用裁剪图像对替代视频帧对进行预训练，这一方法显著降低了对视频数据集的依赖，同时实现了更高的掩码比例（98.5%）。

关键设计：在关键设计方面，CropMAE采用了高达98.5%的掩码比例，使用了特定的损失函数来优化重建效果，并设计了适合裁剪图像的网络结构，以确保模型在不同裁剪下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CropMAE在多个基准测试中表现出色，尤其是在掩码比例达到98.5%时，仅需两个可见补丁即可重建图像。这一性能超越了现有的自监督学习方法，展示了其在学习以物体为中心的表示方面的有效性。

🎯 应用场景

CropMAE的研究成果在计算机视觉领域具有广泛的应用潜力，尤其是在图像分类、目标检测和图像生成等任务中。由于其对视频数据的低依赖性，CropMAE可以在资源受限的环境中实现高效的自监督学习，推动相关技术的实际应用和发展。

📄 摘要（原文）

Self-supervised pre-training of image encoders is omnipresent in the literature, particularly following the introduction of Masked autoencoders (MAE). Current efforts attempt to learn object-centric representations from motion in videos. In particular, SiamMAE recently introduced a Siamese network, training a shared-weight encoder from two frames of a video with a high asymmetric masking ratio (95%). In this work, we propose CropMAE, an alternative approach to the Siamese pre-training introduced by SiamMAE. Our method specifically differs by exclusively considering pairs of cropped images sourced from the same image but cropped differently, deviating from the conventional pairs of frames extracted from a video. CropMAE therefore alleviates the need for video datasets, while maintaining competitive performances and drastically reducing pre-training and learning time. Furthermore, we demonstrate that CropMAE learns similar object-centric representations without explicit motion, showing that current self-supervised learning methods do not learn such representations from explicit object motion, but rather thanks to the implicit image transformations that occur between the two views. Finally, CropMAE achieves the highest masking ratio to date (98.5%), enabling the reconstruction of images using only two visible patches. Our code is available at https://github.com/alexandre-eymael/CropMAE.