How to Benchmark Vision Foundation Models for Semantic Segmentation?

📄 arXiv: 2404.12172v2 📥 PDF

作者: Tommie Kerssies, Daan de Geus, Gijs Dubbelman

分类: cs.CV, cs.AI, cs.LG, cs.RO

发布日期: 2024-04-18 (更新: 2024-06-10)

备注: CVPR 2024 Workshop Proceedings for the Second Workshop on Foundation Models. v2 updates image normalization preprocessing for linear probing with EVA-02, EVA-02-CLIP, SigLIP, DFN (the impact on end-to-end fine-tuning is negligible; no changes made)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出标准化基准以评估视觉基础模型在语义分割中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 语义分割 基准测试 微调策略 模型评估 计算机视觉 深度学习

📋 核心要点

  1. 现有的视觉基础模型在语义分割任务中表现不佳，主要由于缺乏标准化的基准和有效的微调策略。
  2. 本文提出了一种标准化的基准测试方法，通过在不同设置下微调VFM，以评估其在语义分割中的表现。
  3. 实验结果表明，推荐使用特定的微调设置，并指出某些常用方法（如线性探测）并不适合该任务。

📝 摘要（中文）

最近的视觉基础模型（VFM）在多种任务中表现出色，但在语义分割任务中仍需进行监督微调以达到最佳效果。由于缺乏标准化基准，模型性能的比较变得复杂。本文的主要目标是研究如何对VFM进行语义分割的基准测试。通过在不同设置下微调多种VFM，评估各个设置对性能排名和训练时间的影响。研究结果建议使用16x16补丁大小和线性解码器的ViT-B变体进行微调，这样可以在减少训练时间的同时，代表使用更大模型和更先进解码器的效果。使用多个数据集进行训练和评估也被推荐，因为不同数据集和领域转移下的性能排名有所不同。

🔬 方法详解

问题定义：本文旨在解决视觉基础模型在语义分割任务中缺乏标准化基准的问题。现有方法的痛点在于不同模型和设置之间的比较困难，导致选择合适模型时的困惑。

核心思路：论文的核心思路是通过系统地微调多种VFM，并评估不同设置对性能的影响，从而建立一个标准化的基准测试框架。这样设计的目的是为了提供一个可靠的评估工具，帮助研究人员选择最佳模型并指导未来的模型开发。

技术框架：整体架构包括多个阶段：首先选择不同的VFM进行微调，然后在不同的设置下评估其性能，最后分析各个设置对训练时间和性能排名的影响。主要模块包括模型选择、微调设置、性能评估和结果分析。

关键创新：最重要的技术创新点在于提出了一种有效的微调策略，特别是推荐使用ViT-B变体的16x16补丁大小和线性解码器，这在减少训练时间的同时，保持了模型的性能。与现有方法相比，这种方法更具代表性和实用性。

关键设计：关键的参数设置包括补丁大小、解码器类型和微调策略。研究表明，使用多个数据集进行训练和评估能够更全面地反映模型的性能，而线性探测方法则被认为不适合用于端到端的微调。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，推荐的微调设置能够将训练时间减少超过13倍，同时保持模型性能的稳定性。此外，研究发现预训练与可提示分割并无显著益处，而使用抽象表示的掩码图像建模（MIM）则被认为是提升性能的关键因素。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、医疗影像分析等，能够为这些领域中的语义分割任务提供更有效的模型选择和评估方法。通过标准化的基准测试，研究人员和工程师可以更快速地识别最适合其特定应用的视觉基础模型，从而提升实际应用的效果和效率。

📄 摘要（原文）

Recent vision foundation models (VFMs) have demonstrated proficiency in various tasks but require supervised fine-tuning to perform the task of semantic segmentation effectively. Benchmarking their performance is essential for selecting current models and guiding future model developments for this task. The lack of a standardized benchmark complicates comparisons. Therefore, the primary objective of this paper is to study how VFMs should be benchmarked for semantic segmentation. To do so, various VFMs are fine-tuned under various settings, and the impact of individual settings on the performance ranking and training time is assessed. Based on the results, the recommendation is to fine-tune the ViT-B variants of VFMs with a 16x16 patch size and a linear decoder, as these settings are representative of using a larger model, more advanced decoder and smaller patch size, while reducing training time by more than 13 times. Using multiple datasets for training and evaluation is also recommended, as the performance ranking across datasets and domain shifts varies. Linear probing, a common practice for some VFMs, is not recommended, as it is not representative of end-to-end fine-tuning. The benchmarking setup recommended in this paper enables a performance analysis of VFMs for semantic segmentation. The findings of such an analysis reveal that pretraining with promptable segmentation is not beneficial, whereas masked image modeling (MIM) with abstract representations is crucial, even more important than the type of supervision used. The code for efficiently fine-tuning VFMs for semantic segmentation can be accessed through the project page at: https://tue-mps.github.io/benchmark-vfm-ss/.