GiT: Towards Generalist Vision Transformer through Universal Language Interface

📄 arXiv: 2403.09394v1 📥 PDF

作者: Haiyang Wang, Hao Tang, Li Jiang, Shaoshuai Shi, Muhammad Ferjad Naeem, Hongsheng Li, Bernt Schiele, Liwei Wang

分类: cs.CV

发布日期: 2024-03-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出GiT框架以解决视觉任务模块化不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 多任务学习 通用语言接口 自回归解码 Transformer架构 零-shot学习 图像理解 目标检测

📋 核心要点

  1. 现有视觉任务方法通常依赖于特定模块，限制了多层Transformer的应用。
  2. GiT框架通过通用语言接口实现了视觉任务的统一处理，简化了模型架构。
  3. GiT在多个基准测试中表现出色，且在无任务微调的情况下实现了显著的性能提升。

📝 摘要（中文）

本文提出了一种简单而有效的框架GiT，旨在通过通用语言接口同时适用于多种视觉任务，使用基础的ViT架构。受多层Transformer架构（如GPT）在大型语言模型中的普遍性启发，GiT扩展了其应用范围，成为强大的视觉基础模型（VFM）。与语言建模不同，视觉任务通常需要特定模块，如检测的边界框头和分割的像素解码器，这限制了多层Transformer在视觉领域的应用。为此，本文设计了一种通用语言接口，使得自回归解码能够有效统一各种视觉任务，从图像级理解（如图像描述）到稀疏感知（如检测），再到密集预测（如分割）。GiT作为一个多任务视觉模型，在五个代表性基准上联合训练，无需特定任务的微调，显著提升了整体性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉任务方法中模块化不足的问题，现有方法通常需要特定的模块，限制了多层Transformer在视觉领域的应用。

核心思路：GiT框架通过设计通用语言接口，利用自回归解码技术，统一处理多种视觉任务，避免了对特定模块的依赖。

技术框架：GiT的整体架构仅由ViT构成，包含图像级理解、稀疏感知和密集预测等任务，所有任务在同一模型中联合训练。

关键创新：GiT的主要创新在于其通用语言接口设计，使得不同视觉任务可以在同一框架下高效处理，显著简化了模型结构。

关键设计：GiT采用了标准的ViT架构，没有添加特定模块，训练过程中使用了27个数据集，提升了模型的零-shot性能。具体的损失函数和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GiT在多个基准测试中建立了新的通用性能基准，显著提升了任务间的相互增强效果。与孤立训练相比，GiT在多个任务上实现了显著的性能提升，具体数据和对比结果将在论文中详细列出。

🎯 应用场景

GiT框架具有广泛的应用潜力，适用于图像理解、目标检测和图像分割等多种视觉任务。其简化的设计使得在实际应用中更易于部署，并有助于推动视觉与语言模型之间的融合，未来可能在自动驾驶、智能监控和人机交互等领域产生深远影响。

📄 摘要（原文）

This paper proposes a simple, yet effective framework, called GiT, simultaneously applicable for various vision tasks only with a vanilla ViT. Motivated by the universality of the Multi-layer Transformer architecture (e.g, GPT) widely used in large language models (LLMs), we seek to broaden its scope to serve as a powerful vision foundation model (VFM). However, unlike language modeling, visual tasks typically require specific modules, such as bounding box heads for detection and pixel decoders for segmentation, greatly hindering the application of powerful multi-layer transformers in the vision domain. To solve this, we design a universal language interface that empowers the successful auto-regressive decoding to adeptly unify various visual tasks, from image-level understanding (e.g., captioning), over sparse perception (e.g., detection), to dense prediction (e.g., segmentation). Based on the above designs, the entire model is composed solely of a ViT, without any specific additions, offering a remarkable architectural simplification. GiT is a multi-task visual model, jointly trained across five representative benchmarks without task-specific fine-tuning. Interestingly, our GiT builds a new benchmark in generalist performance, and fosters mutual enhancement across tasks, leading to significant improvements compared to isolated training. This reflects a similar impact observed in LLMs. Further enriching training with 27 datasets, GiT achieves strong zero-shot results over various tasks. Due to its simple design, this paradigm holds promise for narrowing the architectural gap between vision and language. Code and models will be available at \url{https://github.com/Haiyang-W/GiT}.