Semantic-Spatial Discriminability Enhancement for Generalized Visual Grounding

📄 arXiv: 2608.30233v1 📥 PDF

作者: Kaiyan Lei, Xu-Yao Zhang

分类: cs.CV

发布日期: 2026-08-31

备注: Accepted by ACM MM 2026

💡 一句话要点

提出SSDE框架以解决多目标视觉定位中的语义与空间可分性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 广义视觉定位 语义可分性 空间可分性 多目标检测 跨模态理解 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在复杂多目标场景中容易混淆视觉相似的目标，导致实例级决策边界不稳定。
  2. 论文提出SSDE框架，通过语义可分性增强和空间可分性增强模块，提升细粒度语义和空间定位能力。
  3. 实验表明，SSDE在十个数据集上表现优异，相较于基线方法有显著提升。

📝 摘要（中文）

本文针对广义视觉定位（GVG）任务，提出了一种新的语义-空间可分性增强（SSDE）框架。GVG任务旨在根据指代表达在图像中定位目标，扩展了经典的视觉定位范式。现有方法通常依赖于全局语义匹配或粗粒度区域交互，导致在复杂的多目标场景中容易混淆视觉相似的目标。为此，本文提出的SSDE框架通过增强细粒度语义和空间定位的可分性，改善了跨模态理解和实例级定位。实验结果表明，SSDE在十个数据集上均表现出色，超越了传统和广义视觉定位任务的基线。

🔬 方法详解

问题定义：本文旨在解决广义视觉定位任务中的语义与空间可分性不足的问题。现有方法多依赖全局语义匹配，难以在复杂场景中有效区分视觉相似的目标。

核心思路：提出的SSDE框架通过引入语义可分性增强（SeDE）和空间可分性增强（SpDE）模块，分别提升查询表示的细粒度语义可分性和目标的空间可分性，从而改善跨模态理解和实例级定位。

技术框架：SSDE框架主要包括两个模块：SeDE模块通过空间引导的交叉注意力机制提取目标相关的视觉属性，并与文本语义结合；SpDE模块则构建实例中心密度图，表征目标的空间分布，并通过辅助监督信号增强实例分离结构。

关键创新：SSDE框架的创新在于同时增强语义和空间的可分性，特别是在多目标场景中，通过细粒度的语义信息和空间分布建模，有效解决了现有方法的局限性。

关键设计：在SeDE模块中，采用空间引导的交叉注意力机制以提取细粒度特征；在SpDE模块中，设计了实例中心密度图以表征目标的空间分布，利用这些信息作为辅助监督信号，增强模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSDE在十个数据集上均取得了优异的性能，相较于传统方法，准确率提升幅度达到XX%，在复杂多目标场景中表现尤为突出，验证了其有效性与实用性。

🎯 应用场景

该研究在多目标视觉定位、智能监控、自动驾驶等领域具有广泛的应用潜力。通过提升模型在复杂场景中的定位能力，能够为实际应用提供更高的准确性和可靠性，推动相关技术的发展与应用。

📄 摘要（原文）

Generalized Visual Grounding (GVG) task aims to localize targets in an image based on referring expressions, extends the classical visual grounding paradigm by integrating multi-target and non-target scenarios. Previous methods typically rely on global semantic matching or coarse-grained region interactions for localization, where the discriminative cues are primarily derived from sentence-level semantics or regional context. In complex multi-target scenarios, such approaches tend to confuse visually similar targets, making it difficult to establish stable instance-level decision boundaries. To address these limitations, this paper proposes a novel Semantic-Spatial Discriminability Enhancement (SSDE) framework for generalized visual grounding, which aims to enhance the discriminative ability on fine-grained semantics and spatial localization, improving both cross-modal understanding and instance-level grounding. Specifically, to enhance the semantic discriminability of query representations at the fine-grained level, we propose a Semantic Discriminability Enhancement (SeDE) module, which leverages spatially guided cross-attention to disentangle fine-grained target-relevant visual attributes and integrates them with the textual subject semantics. Furthermore, to strengthen the spatial discriminability of the referred targets, we introduce a Spatial Discriminability Enhancement (SpDE) module, which models an instance center density map to characterize the spatial distribution of targets, and explicitly constructs instance separation structures in the spatial domain by employing them as an auxiliary supervision signal. Extensive experiments show that SSDE achieves superior performance on ten datasets across both classic and generalized visual grounding tasks.