ProCal: Inference-Time Proposal Calibration for Open-Vocabulary Object Detection

📄 arXiv: 2607.01759 📥 PDF

作者: Jae-Ryung Hong, Ho-Joong Kim, Seong-Whan Lee

分类: cs.CV, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出ProCal以解决开放词汇目标检测中的定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 目标检测 视觉语言模型 提案校准 深度学习

📋 核心要点

  1. 现有开放词汇目标检测方法在定位和分类未见类别时存在背景干扰和定位不准确的问题。
  2. 本文提出的ProCal方法通过结合前景和背景分数，在推理阶段校准提案，从而提高了定位精度。
  3. 在CLIPSelf ViT-L/14模型上，ProCal在OV-LVIS数据集上提升了APr +2.5，显示出显著的效果改善。

📝 摘要（中文）

开放词汇目标检测旨在定位和分类训练中未见的对象类别。现有方法通过利用冻结的视觉语言模型（VLM）作为检测器骨干，提升了对未见类别的定位和分类能力。然而，VLM的分类分数缺乏对图像中对象位置和尺度的识别。为此，本文提出了一种简单的推理时提案校准方法（ProCal），通过结合定位感知前景分数和背景抑制分数来改善分类分数的定位质量。ProCal有效抑制了背景提案的虚假激活，并且在OV-LVIS数据集上显著提升了性能。

🔬 方法详解

问题定义：本文解决开放词汇目标检测中定位不准确的问题，现有方法在处理未见类别时容易受到背景干扰，导致分类和定位效果不佳。

核心思路：ProCal方法通过在推理阶段结合前景和背景分数，校准提案的定位质量，从而提升分类的准确性。该方法利用预训练的VLM来识别前景和背景区域，进而优化提案的选择。

技术框架：ProCal的整体架构包括两个主要模块：定位感知前景分数模块和背景抑制分数模块。前者评估提案中是否包含对象区域，后者则衡量提案与背景的相似度。

关键创新：ProCal的创新在于提出了结合前景和背景信息的提案校准机制，显著抑制了背景提案的虚假激活，并有效提升了对真实新提案的排名。与现有方法相比，ProCal在处理未见类别时表现出更高的准确性和鲁棒性。

关键设计：在实现中，ProCal使用了特定的参数设置来平衡前景和背景分数的影响，并设计了适当的损失函数以优化提案的选择过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProCal在CLIPSelf ViT-L/14模型上，在OV-LVIS数据集上实现了APr +2.5的提升，显著优于基线方法。这一结果验证了ProCal在改善目标检测性能方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够帮助系统更准确地识别和定位未见类别的对象，提升系统的智能化水平。未来，ProCal方法有望在更广泛的视觉任务中得到应用，推动开放词汇检测技术的发展。

📄 摘要（原文）

Open-vocabulary object detection aims to localize and classify objects beyond the fixed set of categories seen dur ing training. Recent open-vocabulary object detection methods improve localization and classification for unseen categories by leveraging a frozen VLM as a detector backbone. However, VLM classification score lacks recognizing position and scale of the object in an image. We observe that pretrained VLMs en able to classify foreground and background regions. According to this observation, we propose a simple inference-time Pro posal Calibration (ProCal) that improves localization quality of the classification score. ProCal computes a proposal prior by combining two scores: localization-aware foreground score and background-aware suppression score. Localization-aware foreground score captures whether a proposal contains an object area. Background-aware suppression score measures the extent to which the proposal resembles background. We analyze that ProCal suppresses false novel activation on background proposals and consistently ranks true novel proposals above background and partial novel proposals. Applied to CLIPSelf ViT-L/14, ProCal improves APr +2.5 on OV-LVIS. The analyses show that proposal-level localization-aware reranking effects to mitigate ranking miscalibration for novel objects.