Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion

📄 arXiv: 2311.03352v1 📥 PDF

作者: Hao Zhou, Tiancheng Shen, Xu Yang, Hai Huang, Xiangtai Li, Lu Qi, Ming-Hsuan Yang

分类: cs.CV

发布日期: 2023-11-06

💡 一句话要点

提出开放词汇分割的新评估指标以解决现有方法的不足

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 评估指标 相似性测量 计算机视觉 图像分割 机器学习 模型评估

📋 核心要点

  1. 现有开放词汇分割方法的评估指标过于依赖封闭集指标，未考虑预测与真实类别的相似性。
  2. 论文通过调查多种相似性测量，设计了Open mIoU、Open AP和Open PQ等新评估指标，旨在更准确地评估开放词汇分割能力。
  3. 在12种开放词汇方法的基准测试中，提出的评估指标能够有效评估模型的开放能力，展示出相较于传统方法的优势。

📝 摘要（中文）

本文强调了开放词汇分割中评估指标的问题，即评估过程仍然严重依赖于封闭集指标，而未考虑预测类别与真实类别之间的相似性。为了解决这一问题，我们首先通过综合定量分析和用户研究，调查了基于WordNet语言统计、文本嵌入和语言模型的十一种类别词之间的相似性测量。基于这些测量，我们设计了新的评估指标，即Open mIoU、Open AP和Open PQ，专门针对三种开放词汇分割任务。我们在12种开放词汇方法的三种分割任务上进行了基准测试，尽管相似性距离的相对主观性，我们证明了这些指标能够有效评估现有开放词汇分割方法的开放能力。我们希望这项工作能为社区带来关于如何评估模型开放能力的新思考。

🔬 方法详解

问题定义：本文旨在解决开放词汇分割中评估指标的不足，现有方法往往忽视了预测类别与真实类别之间的相似性，导致评估结果不够准确。

核心思路：论文的核心思路是通过调查和分析不同的相似性测量，设计出适合开放词汇分割任务的新评估指标，以更全面地反映模型的开放能力。

技术框架：整体架构包括三个主要阶段：首先是相似性测量的调查与分析，其次是基于这些测量设计新的评估指标，最后在多个开放词汇分割任务上进行基准测试。

关键创新：最重要的技术创新点在于提出了Open mIoU、Open AP和Open PQ等新评估指标，这些指标能够更好地反映模型在开放词汇分割任务中的表现，与传统的封闭集指标相比具有更高的适用性。

关键设计：在设计新指标时，考虑了相似性测量的多样性，包括WordNet统计、文本嵌入和语言模型等，确保评估过程能够综合考虑不同类别之间的相似性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在基准测试中，提出的Open mIoU、Open AP和Open PQ指标在评估12种开放词汇方法时，显示出相较于传统封闭集指标的显著优势，能够更准确地反映模型的开放能力，提升了评估的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分割、物体识别和场景理解等任务。通过提供更准确的评估指标，研究能够帮助开发更具开放能力的模型，推动相关技术的进步与应用，尤其是在处理复杂场景和多样化对象时的表现。

📄 摘要（原文）

In this paper, we highlight a problem of evaluation metrics adopted in the open-vocabulary segmentation. That is, the evaluation process still heavily relies on closed-set metrics on zero-shot or cross-dataset pipelines without considering the similarity between predicted and ground truth categories. To tackle this issue, we first survey eleven similarity measurements between two categorical words using WordNet linguistics statistics, text embedding, and language models by comprehensive quantitative analysis and user study. Built upon those explored measurements, we designed novel evaluation metrics, namely Open mIoU, Open AP, and Open PQ, tailored for three open-vocabulary segmentation tasks. We benchmarked the proposed evaluation metrics on 12 open-vocabulary methods of three segmentation tasks. Even though the relative subjectivity of similarity distance, we demonstrate that our metrics can still well evaluate the open ability of the existing open-vocabulary segmentation methods. We hope that our work can bring with the community new thinking about how to evaluate the open ability of models. The evaluation code is released in github.