Supervised Fine-tuning in turn Improves Visual Foundation Models

📄 arXiv: 2401.10222v2 📥 PDF

作者: Xiaohu Jiang, Yixiao Ge, Yuying Ge, Dachuan Shi, Chun Yuan, Ying Shan

分类: cs.CV, cs.AI

发布日期: 2024-01-18 (更新: 2024-04-11)

备注: 23 pages, 3 figures, Project page: https://github.com/TencentARC/ViSFT/tree/main

💡 一句话要点

提出ViSFT方法以提升视觉基础模型的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 监督微调 视觉联合学习 多模态学习 性能提升

📋 核心要点

  1. 现有方法在视觉基础模型的预训练中面临可扩展性挑战，尤其是缺乏大规模区域级数据集。
  2. 本文提出的ViSFT方法通过细粒度的监督微调，增强视觉基础模型的生成能力，采用两阶段的训练策略。
  3. 实验结果显示，使用ViSFT的视觉变换器在多个领域外基准上取得了显著的性能提升。

📝 摘要（中文）

近年来，图像-文本训练如CLIP在视觉基础模型的预训练中占据主导地位。尽管有尝试将区域级视觉学习引入CLIP的预训练，但由于缺乏大规模区域级数据集，面临可扩展性挑战。本文受到自然语言处理中的监督微调（SFT）启发，探索细粒度SFT在预训练后增强视觉基础模型生成的潜力。提出的ViSFT（视觉SFT）方法通过在一些领域内任务上进行视觉联合学习来增强视觉基础模型，并在领域外基准上进行测试。使用ViSFT更新的具有超过44亿参数的视觉变换器在不到两天内在8个V100 GPU上完成训练，并在多个领域外基准上显示出显著提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉基础模型在预训练阶段的可扩展性问题，尤其是缺乏大规模区域级数据集导致的性能瓶颈。

核心思路：提出ViSFT方法，通过细粒度的监督微调，结合领域内任务的视觉联合学习，提升模型在领域外基准上的表现。

技术框架：ViSFT方法分为两个阶段：第一阶段在领域内任务上进行视觉联合学习，第二阶段在领域外基准上进行测试和评估。

关键创新：ViSFT的核心创新在于引入细粒度的监督微调策略，使得视觉基础模型能够更好地利用预训练知识，显著提升生成能力。

关键设计：在训练过程中，模型参数设置为超过44亿，采用适当的损失函数和优化算法，确保在8个V100 GPU上高效训练，训练时间少于两天。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ViSFT方法的视觉变换器在多个领域外基准上取得了显著提升，尤其是在视觉和视觉-语言场景中，性能提升幅度超过了预期，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升视觉基础模型的性能，ViSFT方法可广泛应用于图像识别、图像生成和视觉问答等任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Image-text training like CLIP has dominated the pretraining of vision foundation models in recent years. Subsequent efforts have been made to introduce region-level visual learning into CLIP's pretraining but face scalability challenges due to the lack of large-scale region-level datasets. Drawing inspiration from supervised fine-tuning (SFT) in natural language processing such as instruction tuning, we explore the potential of fine-grained SFT in enhancing the generation of vision foundation models after their pretraining. Thus a two-stage method ViSFT (Vision SFT) is proposed to unleash the fine-grained knowledge of vision foundation models. In ViSFT, the vision foundation model is enhanced by performing visual joint learning on some in-domain tasks and then tested on out-of-domain benchmarks. With updating using ViSFT on 8 V100 GPUs in less than 2 days, a vision transformer with over 4.4B parameters shows improvements across various out-of-domain benchmarks including vision and vision-linguistic scenarios.