RT-Counter: Real-Time Text-Guided Open-Vocabulary Object Counting

📄 arXiv: 2606.17561v1 📥 PDF

作者: Hao-Yuan Ma, Li Zhang, Zhiwei Zhu, Jie Gao

分类: cs.CV

发布日期: 2026-06-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出RT-Counter以解决实时文本引导的开放词汇物体计数问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇计数 视觉-语言模型 实时推理 混合注意力机制 物体检测 深度学习

📋 核心要点

  1. 现有的视觉-语言模型在细粒度空间理解和实时推理方面存在不足，影响了物体计数的准确性和效率。
  2. 本文提出的RT-Counter框架通过视觉原型文本化模块和编织变换器层，提升了计数精度和计算效率。
  3. 在FSC147数据集上，RT-Counter实现了13.30的MAE，速度达到112.48 FPS，较现有方法快7.4倍，参数效率提升超过4倍。

📝 摘要（中文）

文本引导的开放词汇物体计数（TOOC）旨在根据自然语言描述计数物体。尽管视觉-语言预训练模型在TOOC任务中取得了一定成功，但在细粒度空间理解和实时推理需求方面仍存在挑战。为了解决这些问题，本文提出了一种实时TOOC框架RT-Counter，既能实现良好的计数准确性，又具备高计算效率。RT-Counter设计了新颖的视觉原型文本化（VPT）模块，将学习到的视觉特征投影到文本特征空间中，生成包含抽象信息和详细原型信息的特征，增强了物体级视觉-语言模型的计数能力。此外，RT-Counter还引入了编织变换器（Weaformer）层，以较低的计算成本保持高描述能力。大量实验表明，RT-Counter成功打破了TOOC中的准确性与速度之间的权衡。

🔬 方法详解

问题定义：本文旨在解决文本引导的开放词汇物体计数（TOOC）中的准确性与实时性问题。现有方法在细粒度空间理解和实时推理方面表现不佳，导致计数效果不理想。

核心思路：RT-Counter通过引入视觉原型文本化（VPT）模块，将视觉特征映射到文本特征空间，生成包含抽象和详细信息的特征，从而增强计数能力。同时，采用编织变换器（Weaformer）层以提高描述能力并降低计算成本。

技术框架：RT-Counter的整体架构包括视觉原型文本化模块和编织变换器层。VPT模块负责特征映射和信息生成，而Weaformer层则通过混合注意力机制高效整合局部和全局视觉特征。

关键创新：最重要的技术创新在于VPT模块的设计，它有效地将视觉特征与文本特征结合，提升了模型的计数能力。与现有方法相比，RT-Counter在准确性和速度上实现了显著提升。

关键设计：RT-Counter在网络结构上采用了混合注意力机制，优化了参数设置和损失函数，确保在高效计算的同时保持高描述能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RT-Counter在FSC147数据集上实现了13.30的MAE，操作速度达到112.48 FPS，较现有领先方法快7.4倍，且参数效率提升超过4倍，成功打破了TOOC中的准确性与速度之间的权衡。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够在实时物体计数任务中提供高效、准确的解决方案。未来，RT-Counter有望推动更多基于视觉-语言模型的应用发展，提升人机交互的智能化水平。

📄 摘要（原文）

Text-guided open-vocabulary object counting (TOOC) aims to count objects belonging to the categories specified by natural language descriptions. Although vision-language pre-trained models have been successful applied to TOOC tasks, they still struggle with fine-grained spatial understanding and real-time inference requirements in counting scenarios. To address these limitations, this paper proposes a real-time TOOC framework, called the Real-Time Counter (RT-Counter), that achieves not only good counting accuracy but also high computational efficiency. RT-Counter designs a novel Visual Prototype Textualization (VPT) module that can project learned visual features into a text feature space and then generate features containing the abstract information that is hard to capture with visual prototypes and the detailed prototype information that is difficult to describe in text, enhancing the object-level visual-language model's counting capabilities. Additionally, RT-Counter incorporates our Weaving Transformer (Weaformer) layers, maintaining high descriptive power at a fraction of the computational cost. The Weaformer layer adopts a novel hybrid attention mechanism that can efficiently weave together local and global visual features. Extensive experiments on three public datasets show that RT-Counter successfully breaks the accuracy-speed trade-off in TOOC. While achieving a competitive MAE of 13.30 on FSC147, RT-Counter operates at 112.48 FPS, making it 7.4x faster and over 4$\times$ more parameter-efficient than the existing leading methods in TOOC. Our work aims at balancing high accuracy and real-time performance in TOOC. Code is available at: https://github.com/Jason-Mar1/RT-Counter.