ProCal: Inference-Time Proposal Calibration for Open-Vocabulary Object Detection

📄 arXiv: 2607.01759v1 📥 PDF

作者: Jae-Ryung Hong, Ho-Joong Kim, Seong-Whan Lee

分类: cs.CV, cs.AI

发布日期: 2026-07-02


💡 一句话要点

提出ProCal以解决开放词汇目标检测中的定位精度问题

🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)

关键词: 开放词汇目标检测 提案校准 视觉语言模型 目标定位 分类精度

📋 核心要点

  1. 现有开放词汇目标检测方法在未见类别的定位和分类上存在不足,特别是在对象位置和尺度的识别上。
  2. 本文提出的ProCal方法通过结合前景和背景得分来校准提案,从而提升分类得分的定位质量。
  3. 实验结果表明,ProCal在OV-LVIS数据集上提升了APr +2.5,显著改善了新对象的排名精度。

📝 摘要(中文)

开放词汇目标检测旨在定位和分类训练中未见的对象类别。现有方法通过利用冻结的视觉语言模型(VLM)作为检测器主干来提升未见类别的定位和分类能力。然而,VLM的分类得分缺乏对图像中对象位置和尺度的识别。针对这一问题,本文提出了一种简单的推理时提案校准方法ProCal,旨在提高分类得分的定位质量。ProCal通过结合定位感知前景得分和背景感知抑制得分来计算提案先验,从而有效抑制背景提案的错误激活,并将真实的新提案优先排序。应用于CLIPSelf ViT-L/14,ProCal在OV-LVIS上提升了APr +2.5。

🔬 方法详解

问题定义:本文解决的是开放词汇目标检测中,现有方法在定位和分类未见对象时的精度不足,尤其是对对象位置和尺度的识别能力较弱。

核心思路:ProCal方法的核心思想是通过推理时校准提案,结合定位感知前景得分和背景感知抑制得分,从而提高分类得分的定位质量,减少错误激活。

技术框架:ProCal的整体架构包括两个主要模块:首先计算前景得分以识别提案是否包含对象区域,其次计算背景抑制得分以评估提案与背景的相似度,最后结合这两个得分生成提案先验。

关键创新:ProCal的创新之处在于引入了背景感知抑制得分,能够有效抑制背景提案的错误激活,并确保真实的新提案在排名中优先于背景和部分新提案。

关键设计:在设计中,前景得分和背景抑制得分的计算方式经过精心调整,以确保能够准确反映提案的真实情况,具体的参数设置和损失函数设计未在摘要中详细说明,需参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示,ProCal在OV-LVIS数据集上实现了APr +2.5的提升,显著优于基线方法,证明了其在新对象排名精度上的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等,能够在未见类别的情况下实现高效的目标检测,提升系统的智能化水平。未来,ProCal方法有望在更多实际场景中推广应用,推动开放词汇目标检测技术的发展。

📄 摘要(原文)

Open-vocabulary object detection aims to localize and classify objects beyond the fixed set of categories seen dur ing training. Recent open-vocabulary object detection methods improve localization and classification for unseen categories by leveraging a frozen VLM as a detector backbone. However, VLM classification score lacks recognizing position and scale of the object in an image. We observe that pretrained VLMs en able to classify foreground and background regions. According to this observation, we propose a simple inference-time Pro posal Calibration (ProCal) that improves localization quality of the classification score. ProCal computes a proposal prior by combining two scores: localization-aware foreground score and background-aware suppression score. Localization-aware foreground score captures whether a proposal contains an object area. Background-aware suppression score measures the extent to which the proposal resembles background. We analyze that ProCal suppresses false novel activation on background proposals and consistently ranks true novel proposals above background and partial novel proposals. Applied to CLIPSelf ViT-L/14, ProCal improves APr +2.5 on OV-LVIS. The analyses show that proposal-level localization-aware reranking effects to mitigate ranking miscalibration for novel objects.