Perceptual Anchoring: Prototype-Guided Text Calibration for Training-free Open-Vocabulary Semantic Segmentation

📄 arXiv: 2608.03991v1 📥 PDF

作者: Wanli Ma, Jiangwen Lu, Qinmu Peng, Xinge You

分类: cs.CV

发布日期: 2026-08-04

备注: 17 pages, 5 figures

💡 一句话要点

提出原型引导文本校准方法以解决开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇语义分割 文本校准 视觉原型 视觉-文本对齐 无训练方法

📋 核心要点

  1. 现有的开放词汇语义分割方法在处理文本嵌入时未能有效缩小通用概念与视觉表示之间的语义差距，导致预测不准确。
  2. 本文提出的原型引导文本校准（PTC）方法，通过构建类别特定的视觉原型来校准文本嵌入，从而提高了视觉-文本的对齐精度。
  3. 在八个基准测试中的广泛实验表明，PTC显著提升了六种代表性方法的性能，提供了更完整和准确的分割结果。

📝 摘要（中文）

训练无关的开放词汇语义分割（OVSS）能够根据任意文本描述将图像划分为语义上不同的区域，而无需学习额外的参数。然而，现有方法通常侧重于改善视觉表示，而将仅编码通用类别概念的文本嵌入视为固定的分类参考。这导致了通用概念与捕捉目标实例特定外观的视觉表示之间的语义差距，从而造成不完整的掩膜和非目标区域的错误预测。为此，本文提出了原型引导文本校准（PTC）方法，通过选择可靠的视觉证据构建类别特定的视觉原型，并利用这些原型校准相应的文本嵌入，显著提升了六种代表性方法的性能，验证了PTC在视觉-文本对齐中的有效性。

🔬 方法详解

问题定义：本文旨在解决训练无关的开放词汇语义分割中，文本嵌入与视觉表示之间的语义差距问题。现有方法通常将文本嵌入视为固定的分类参考，导致不完整的掩膜和错误的预测。

核心思路：提出的原型引导文本校准（PTC）方法通过选择可靠的视觉证据构建类别特定的视觉原型，并利用这些原型校准文本嵌入，从而提高视觉表示的准确性和通用性。

技术框架：PTC方法分为两个主要阶段：感知阶段和锚定阶段。在感知阶段，PTC根据初始匹配分数选择可靠的视觉证据，构建类别特定的视觉原型；在锚定阶段，利用这些原型校准相应的文本嵌入，校准强度根据视觉证据的数量自适应调整。

关键创新：PTC的核心创新在于通过视觉原型来校准文本嵌入，解决了现有方法中固定文本嵌入导致的语义不匹配问题，实现了更准确的视觉-文本对齐。

关键设计：PTC方法不需要额外的训练或外部模型，作为现有方法的插件模块，具有良好的适应性。关键设计包括自适应调整的校准强度和基于视觉证据选择的原型构建策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个基准测试中，PTC方法显著提升了六种代表性方法的性能，具体表现为分割结果的完整性和准确性提高，验证了其在视觉-文本对齐中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和机器人视觉等，能够在无需额外训练的情况下，实现高效的语义分割，提升系统的智能化水平。未来，PTC方法有望在更多开放词汇任务中得到应用，推动相关领域的发展。

📄 摘要（原文）

Training-free open-vocabulary semantic segmentation (OVSS) partitions an image into semantically distinct regions based on arbitrary text descriptions, without learning any additional parameters. However, existing methods typically focus on improving visual representations while treating text embeddings that encode only generic category concepts as fixed classification references. The resulting semantic gap between these generic concepts and the visual representations that capture the specific appearances of target instances often causes incomplete masks and erroneous predictions in non-target regions. Inspired by the symbol-percept correspondence underlying perceptual anchoring, we propose Prototype-Guided Text Calibration (PTC) for training-free OVSS. In the Perceiving stage, PTC selects reliable visual evidence based on initial matching scores to construct category-specific visual prototypes. In the Anchoring stage, PTC uses these prototypes to calibrate their corresponding text embeddings, with the calibration strength adaptively adjusted based on the amount of visual evidence. Consequently, the calibrated text embeddings align more accurately with instance-specific visual representations while preserving generic category semantics and open-vocabulary generalization. Moreover, PTC requires neither additional training nor external models and can serve as a plug-and-play module for existing methods. Extensive experiments across eight benchmarks show that PTC significantly enhances the performance of six representative methods and yields more complete and accurate segmentation results. These results validate PTC as a simple and effective approach to improving visual-text alignment.