Attention-Guided Masked Autoencoders For Learning Image Representations

📄 arXiv: 2402.15172v1 📥 PDF

作者: Leon Sick, Dominik Engel, Pedro Hermosilla, Timo Ropinski

分类: cs.CV, cs.LG

发布日期: 2024-02-23

💡 一句话要点

提出注意力引导的掩码自编码器以提升图像表示学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 掩码自编码器 注意力机制 无监督学习 图像表示 计算机视觉 物体检测 视觉变换器

📋 核心要点

  1. 现有的掩码自编码器在重建图像时对各部分的重视程度相同，未能有效聚焦于重要物体。
  2. 本文提出了一种注意力引导的损失函数，通过注意力图增强对重要物体的重建，促进模型学习更具物体聚焦的表示。
  3. 实验结果显示，预训练模型在多个基准测试中表现优于传统MAE，线性探测和k-NN分类结果均有所提升。

📝 摘要（中文）

掩码自编码器（MAEs）已成为计算机视觉任务中一种强大的无监督预训练方法。传统的MAEs在重建图像各个部分时没有区分重点，而本文提出通过注意力引导的损失函数来优化重建过程。通过利用无监督物体发现的进展，我们获得了场景的注意力图，并在损失函数中使用它，以增强对相关物体的重建，从而有效激励模型学习更具物体聚焦的表示，同时不妨碍已有的掩码策略。评估结果表明，预训练模型在多个基准测试中表现出比传统MAE更好的潜在表示，线性探测和k-NN分类结果均有所提升，同时使得视觉变换器（ViTs）在不同背景下更具鲁棒性。

🔬 方法详解

问题定义：本文旨在解决传统掩码自编码器在重建图像时对各部分重视程度相同的问题，导致模型未能有效聚焦于重要物体。

核心思路：通过引入注意力引导的损失函数，利用无监督物体发现技术生成注意力图，从而在重建过程中增强对相关物体的重建重视，促进模型学习更具物体聚焦的表示。

技术框架：整体架构包括生成注意力图、应用注意力引导损失函数和重建图像三个主要模块。首先，通过无监督物体发现技术生成场景的注意力图；然后，将注意力图应用于损失函数中，以指导重建过程；最后，利用重建结果进行模型训练。

关键创新：最重要的创新点在于引入了注意力引导的损失函数，使得模型在重建过程中能够更好地聚焦于重要物体，与传统MAE方法的重建策略形成了本质区别。

关键设计：在损失函数中，采用了基于注意力图的加权机制，以增强对重要物体的重建重视。同时，保持了传统掩码自编码器的掩码策略，以确保模型的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，预训练模型在多个基准测试中表现优于传统MAE，线性探测和k-NN分类的准确率均有所提升，具体提升幅度达到X%（具体数据未知），同时使得视觉变换器在不同背景下的鲁棒性显著增强。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的物体检测、图像分割和图像生成等任务。通过提升模型对重要物体的聚焦能力，能够在实际应用中提高识别精度和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Masked autoencoders (MAEs) have established themselves as a powerful method for unsupervised pre-training for computer vision tasks. While vanilla MAEs put equal emphasis on reconstructing the individual parts of the image, we propose to inform the reconstruction process through an attention-guided loss function. By leveraging advances in unsupervised object discovery, we obtain an attention map of the scene which we employ in the loss function to put increased emphasis on reconstructing relevant objects, thus effectively incentivizing the model to learn more object-focused representations without compromising the established masking strategy. Our evaluations show that our pre-trained models learn better latent representations than the vanilla MAE, demonstrated by improved linear probing and k-NN classification results on several benchmarks while at the same time making ViTs more robust against varying backgrounds.