Renovating Names in Open-Vocabulary Segmentation Benchmarks

📄 arXiv: 2403.09593v2 📥 PDF

作者: Haiwen Huang, Songyou Peng, Dan Zhang, Andreas Geiger

分类: cs.CV

发布日期: 2024-03-14 (更新: 2024-05-24)

💡 一句话要点

提出RENOVATE框架以提升开放词汇分割基准的名称质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 名称重命名 视觉模型 数据集优化 模型评估

📋 核心要点

  1. 现有开放词汇分割模型在名称精确性上存在不足，影响模型的泛化能力和评估效果。
  2. 本文提出RENOVATE框架，通过重命名模型提升视觉分段名称的质量，以改善数据集的有效性。
  3. 实验结果显示，翻新的名称使开放词汇模型的性能提升高达15%，并显著提高了训练效率和评估准确性。

📝 摘要（中文）

名称对于人类认知和视觉语言模型至关重要。开放词汇模型利用类别名称作为文本提示，以泛化未在训练中见过的类别。然而，现有数据集中名称的精确性往往被忽视。本文提出了一个框架RENOVATE，旨在“翻新”开放词汇分割基准中的名称。我们的框架包含一个重命名模型，提升每个视觉分段的名称质量。实验表明，翻新的名称帮助训练更强的开放词汇模型，提升幅度可达15%，并通过改善数据质量显著提高训练效率。此外，翻新的名称改善了评估效果，更好地衡量错误分类并支持细粒度模型分析。我们将为研究社区提供多个流行分割数据集（MS COCO、ADE20K、Cityscapes）的代码和重新标注数据。

🔬 方法详解

问题定义：本文旨在解决开放词汇分割基准中名称精确性不足的问题。现有方法往往忽视名称的质量，导致模型泛化能力和评估效果受限。

核心思路：提出RENOVATE框架，通过重命名模型对视觉分段的名称进行翻新，从而提升名称的质量和准确性，进而改善模型的训练和评估效果。

技术框架：RENOVATE框架主要包括数据预处理、重命名模型训练和评估三个阶段。首先对原始数据集进行分析和处理，然后训练重命名模型，最后使用翻新的名称进行模型训练和评估。

关键创新：最重要的创新点在于提出了重命名模型，该模型专注于提升视觉分段的名称质量，与现有方法相比，能够更好地适应开放词汇的需求。

关键设计：在模型设计中，采用了特定的损失函数以优化名称的准确性，同时在网络结构上进行了调整，以增强模型对不同类别的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，翻新的名称使得开放词汇模型的性能提升高达15%，相较于基线模型，训练效率显著提高。此外，翻新的名称在评估中更好地衡量了错误分类，支持了细粒度的模型分析。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动驾驶、智能监控等。通过提升开放词汇模型的性能，能够在更广泛的场景中实现更高效的图像理解和分析，具有重要的实际价值和未来影响。

📄 摘要（原文）

Names are essential to both human cognition and vision-language models. Open-vocabulary models utilize class names as text prompts to generalize to categories unseen during training. However, the precision of these names is often overlooked in existing datasets. In this paper, we address this underexplored problem by presenting a framework for "renovating" names in open-vocabulary segmentation benchmarks (RENOVATE). Our framework features a renaming model that enhances the quality of names for each visual segment. Through experiments, we demonstrate that our renovated names help train stronger open-vocabulary models with up to 15% relative improvement and significantly enhance training efficiency with improved data quality. We also show that our renovated names improve evaluation by better measuring misclassification and enabling fine-grained model analysis. We will provide our code and relabelings for several popular segmentation datasets (MS COCO, ADE20K, Cityscapes) to the research community.