GLID: Pre-training a Generalist Encoder-Decoder Vision Model

📄 arXiv: 2404.07603v1 📥 PDF

作者: Jihao Liu, Jinliang Zheng, Yu Liu, Hongsheng Li

分类: cs.CV

发布日期: 2024-04-11

备注: CVPR 2024

💡 一句话要点

提出GLID以解决计算机视觉任务中的架构一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 通用模型 编码器-解码器 自监督学习 计算机视觉 迁移学习 任务适应性 预训练

📋 核心要点

  1. 现有的自监督预训练方法在迁移学习中表现良好，但仍需为每个下游任务设计特定架构，导致架构不一致性。
  2. GLID通过将预训练任务和下游任务建模为查询-回答问题，允许通用编码器-解码器在多种视觉任务上进行微调，减少了架构修改。
  3. GLID在物体检测、图像分割、姿态估计和深度估计等任务上表现优异，性能超越或匹配了多种专业模型。

📝 摘要（中文）

本文提出了一种通用编码器-解码器（GLID）预训练方法，以更好地处理各种下游计算机视觉任务。尽管自监督预训练方法（如Masked Autoencoder）在迁移学习中取得了成功，但仍需为不同下游任务附加特定的子架构，无法充分利用大规模预训练的优势。GLID通过允许预训练的通用编码器-解码器在各种视觉任务上进行微调，且仅需最小的任务特定架构修改，克服了这一挑战。GLID的训练方案将预训练的前置任务和其他下游任务建模为“查询-回答”问题，预训练一个与任务无关的编码器-解码器。微调时，GLID保持预训练的编码器-解码器和查询，仅替换最上层的线性变换层，以适应特定任务。这种方法最小化了预训练与微调之间的架构不一致性，使得预训练模型更好地适应下游任务。GLID在多个视觉任务上表现出色，超越或匹配了如Mask2Former、DETR、ViTPose和BinsFormer等专业模型。

🔬 方法详解

问题定义：本文旨在解决现有自监督预训练方法在处理不同下游计算机视觉任务时，需附加特定子架构的问题。这种架构不一致性限制了大规模预训练的优势。

核心思路：GLID的核心思路是将预训练任务与下游任务视为“查询-回答”问题，通过微调通用编码器-解码器，减少任务特定架构的修改，从而提高模型的适应性。

技术框架：GLID的整体架构包括两个主要阶段：预训练和微调。在预训练阶段，模型使用查询-掩码对进行训练；在微调阶段，仅替换最上层的线性变换层以适应特定任务。

关键创新：GLID的主要创新在于其通用编码器-解码器的设计，使得在微调时可以保持预训练的结构，最小化了预训练与微调之间的架构不一致性。这一设计与传统方法的显著区别在于不需要为每个任务重新设计架构。

关键设计：在GLID中，使用了任务无关的编码器-解码器结构，损失函数设计为适应查询-回答的形式，确保模型在微调时能够有效利用预训练的知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GLID在多个视觉任务上取得了竞争力的表现，尤其在物体检测、图像分割、姿态估计和深度估计等任务中，超越或匹配了如Mask2Former、DETR、ViTPose和BinsFormer等专业模型，展示了其强大的适应能力和性能提升。

🎯 应用场景

GLID的研究成果在多个计算机视觉领域具有广泛的应用潜力，包括自动驾驶、智能监控、医疗影像分析等。其通用性和高效性使得研究人员和工程师能够在不同任务中快速部署和调整模型，提升实际应用的效率和效果。

📄 摘要（原文）

This paper proposes a GeneraLIst encoder-Decoder (GLID) pre-training method for better handling various downstream computer vision tasks. While self-supervised pre-training approaches, e.g., Masked Autoencoder, have shown success in transfer learning, task-specific sub-architectures are still required to be appended for different downstream tasks, which cannot enjoy the benefits of large-scale pre-training. GLID overcomes this challenge by allowing the pre-trained generalist encoder-decoder to be fine-tuned on various vision tasks with minimal task-specific architecture modifications. In the GLID training scheme, pre-training pretext task and other downstream tasks are modeled as "query-to-answer" problems, including the pre-training pretext task and other downstream tasks. We pre-train a task-agnostic encoder-decoder with query-mask pairs. During fine-tuning, GLID maintains the pre-trained encoder-decoder and queries, only replacing the topmost linear transformation layer with task-specific linear heads. This minimizes the pretrain-finetune architecture inconsistency and enables the pre-trained model to better adapt to downstream tasks. GLID achieves competitive performance on various vision tasks, including object detection, image segmentation, pose estimation, and depth estimation, outperforming or matching specialist models such as Mask2Former, DETR, ViTPose, and BinsFormer.