MambaCount: Efficient Text-guided Open-vocabulary Object Counting with Spatial Sparse State Space Duality Block

📄 arXiv: 2606.17650v1 📥 PDF

作者: Hao-Yuan Ma, Li Zhang, Minjie Qiang, Jie Gao

分类: cs.CV, cs.CL

发布日期: 2026-06-16

💡 一句话要点

提出MambaCount以解决文本引导的开放词汇物体计数问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇计数 文本引导 空间稀疏状态 多粒度原型 高效算法 计算机视觉 物体识别

📋 核心要点

  1. 现有的TOOC方法主要依赖于Transformer，导致在处理高分辨率图像时面临二次复杂度的限制。
  2. 本文提出MambaCount，通过引入空间稀疏状态空间对偶块（S^4D）和空间令牌选择子块（STS）来解决现有方法的局限性。
  3. 在FSC-147数据集上的实验结果显示，MambaCount在不进行二次查询的情况下，测试MAE达到12.23，表现优异。

📝 摘要（中文）

文本引导的开放词汇物体计数（TOOC）旨在估计由文本提示描述的物体数量，尤其在具有大规模变化的密集场景中尤为具有挑战性。现有的TOOC方法主要依赖于Transformer，但其与图像分辨率相关的二次复杂度限制了其可扩展性。Mamba提供了一种线性复杂度的替代方案，但之前的Mamba方法存在两个主要限制：一是因果建模限制了双向空间依赖关系的建模，二是现有模型往往忽视了空间令牌响应中的高熵问题。为了解决这些限制，本文提出了MambaCount，一个基于空间稀疏状态空间对偶块（S^4D）的高效框架。通过分析和重构Mamba中隐藏状态的衰减动态，缓解因果建模引入的依赖约束，同时引入空间令牌选择子块（STS）以降低空间令牌响应中的高熵。实验结果表明，MambaCount在FSC-147数据集上取得了最先进的性能，测试MAE为12.23，同时保持线性复杂度。

🔬 方法详解

问题定义：本文旨在解决文本引导的开放词汇物体计数（TOOC）问题，现有方法在处理密集场景时面临高复杂度和空间依赖建模的限制。

核心思路：MambaCount通过引入空间稀疏状态空间对偶块（S^4D）来重构Mamba的隐藏状态衰减动态，缓解因果建模的依赖约束，并通过空间令牌选择子块（STS）降低高熵影响。

技术框架：MambaCount的整体架构包括S^4D块和STS子块，前者用于处理隐藏状态的动态，后者用于优化空间令牌响应。整体流程通过多粒度原型（MGP）进一步提升语义层次的物体识别能力。

关键创新：最重要的创新在于引入了S^4D块和STS子块，前者打破了因果建模的限制，后者有效降低了空间令牌的高熵，显著提升了模型的表现。

关键设计：在设计中，MambaCount采用了多粒度原型（MGP）来识别不同语义层次的物体区域，并通过特定的损失函数优化模型的跨模态对齐和可解释性。整体架构保持了线性复杂度，确保了高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在FSC-147数据集上的实验结果显示，MambaCount在不进行二次查询的情况下，测试MAE达到了12.23，超越了现有的最先进方法，展现了显著的性能提升，同时保持了线性复杂度，确保了高效性。

🎯 应用场景

MambaCount的潜在应用场景包括智能监控、自动驾驶、无人机视觉等领域，能够有效地进行物体计数和识别，提升系统的智能化水平。该研究的实际价值在于为复杂场景下的物体计数提供了一种高效、可扩展的解决方案，未来可能推动相关技术的广泛应用。

📄 摘要（原文）

Text-guided Open-vocabulary Object Counting (TOOC) aims to estimate the number of objects described by text prompts, which is particularly challenging in dense scenes with large scale variations. Existing TOOC approaches predominantly rely on Transformers, whose quadratic complexity with respect to image resolution limits their scalability. Mamba offers a promising alternative due to its linear complexity. However, previous Mamba-based methods have two main limitations. On the one hand, the inherent causal formulation of Mamba constrains the bidirectional spatial dependency modeling required by non-causal vision tasks. On the other hand, existing Mamba-based vision models often overlook the unconstrained high entropy in the spatial token responses, which can weaken local details and high-frequency cues. To address these limitations, we propose MambaCount, an efficient framework built on the Spatial Sparse State Space Duality (S^4D) block. Specifically, we analyze and reconstruct the decay dynamics of hidden states in Mamba to alleviate the dependency constraints introduced by causal modeling. Moreover, we introduce a Spatial Token Selection (STS) sub-block to reduce the unconstrained high entropy in spatial token responses within Mamba. In addition, we design Multi-Granularity Prototypes (MGP) to identify object-like regions at different semantic levels, improving cross-modal alignment and interpretability. Extensive experiments on FSC-147 demonstrate that MambaCount achieves state-of-the-art performance among methods without secondary querying, obtaining a test MAE of 12.23, while retaining linear complexity.