Point, Segment and Count: A Generalized Framework for Object Counting
作者: Zhizhong Huang, Mingliang Dai, Yi Zhang, Junping Zhang, Hongming Shan
分类: cs.CV
发布日期: 2023-11-21 (更新: 2024-03-27)
备注: Accepted by CVPR 2024. Camera ready
🔗 代码/项目: GITHUB
💡 一句话要点
提出PseCo框架以解决少样本与零样本目标计数问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 目标计数 类无关检测 少样本学习 零样本学习 知识蒸馏 计算机视觉 深度学习
📋 核心要点
- 现有方法在处理小型拥挤物体时效率低下，难以准确定位和区分。
- 提出的PseCo框架通过点、分割和计数三步走，优化了目标定位和分类过程。
- 在FSC-147、COCO和LVIS数据集上，PseCo在少样本和零样本目标计数任务中表现出色，达到了最先进的性能。
📝 摘要（中文）
类无关目标计数旨在根据示例框或类别名称计数图像中的所有对象。本文提出了一种基于检测的少样本和零样本目标计数的通用框架PseCo。该框架结合了SAM和CLIP的优势，首先通过类无关的目标定位提供准确的点提示，减少计算成本并避免漏检小物体。然后，利用CLIP的图像/文本嵌入进行目标分类，采用分层知识蒸馏获得更具辨别力的分类。实验结果表明，PseCo在FSC-147、COCO和LVIS数据集上实现了最先进的性能。
🔬 方法详解
问题定义：本文旨在解决类无关目标计数中的效率和准确性问题，尤其是在小型拥挤物体的定位和区分方面，现有方法常常面临挑战。
核心思路：PseCo框架通过引入类无关的目标定位和分层知识蒸馏，优化了目标检测和计数的过程，确保在少样本和零样本场景下的高效性和准确性。
技术框架：PseCo框架分为三个主要阶段：首先进行类无关的目标定位，提供最少的点提示；其次使用SAM生成掩膜提议；最后利用CLIP进行目标分类和计数。
关键创新：PseCo的创新在于结合了SAM和CLIP的优点，避免了传统方法在小物体检测中的局限性，提升了整体效率和准确性。
关键设计：在参数设置上，采用了分层知识蒸馏策略，以提高分类的辨别能力，并在网络结构上优化了点提示的生成过程，确保了计算效率。
📊 实验亮点
PseCo在FSC-147、COCO和LVIS数据集上的实验结果显示，其在少样本和零样本目标计数任务中均达到了最先进的性能，具体提升幅度超过了现有基线方法，展示了其优越的效率和准确性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、交通流量分析和环境监测等，能够在不依赖大量标注数据的情况下，实现高效的目标计数。这将为实际应用提供更灵活的解决方案，推动相关领域的发展。
📄 摘要（原文）
Class-agnostic object counting aims to count all objects in an image with respect to example boxes or class names, \emph{a.k.a} few-shot and zero-shot counting. In this paper, we propose a generalized framework for both few-shot and zero-shot object counting based on detection. Our framework combines the superior advantages of two foundation models without compromising their zero-shot capability: (\textbf{i}) SAM to segment all possible objects as mask proposals, and (\textbf{ii}) CLIP to classify proposals to obtain accurate object counts. However, this strategy meets the obstacles of efficiency overhead and the small crowded objects that cannot be localized and distinguished. To address these issues, our framework, termed PseCo, follows three steps: point, segment, and count. Specifically, we first propose a class-agnostic object localization to provide accurate but least point prompts for SAM, which consequently not only reduces computation costs but also avoids missing small objects. Furthermore, we propose a generalized object classification that leverages CLIP image/text embeddings as the classifier, following a hierarchical knowledge distillation to obtain discriminative classifications among hierarchical mask proposals. Extensive experimental results on FSC-147, COCO, and LVIS demonstrate that PseCo achieves state-of-the-art performance in both few-shot/zero-shot object counting/detection. Code: https://github.com/Hzzone/PseCo